Perc6 Raid - Fehlersuche

[tester78]

Hallo

es geht hier nicht um einen ESX Host sondern ein normales Server 2003.

Aber ich verstehe nicht warum es so langsam ist.

Auf dem Screensot sieht man die schwache Performance (auch unter dem Benchmark ATTO zu schlechte Raten), und auch das 3 Raids auf dem Controller eingerichtet sind.

Die Zugriffszeit ist ja i.o. aber die Übertragungsrate und IOPS sind schlecht.

http://imageshack.us/photo/my-images/23 ... nntdz.jpg/

Das sind alles 15k SAS Seagate Cheetah.

Vielen Dank für jegliche Tipps!

Der Perc6 kann doch eigentlich mehr

[Dayworker]

Ein Raid1 ist nur eine Spiegelung zwischen zwei Platten wobei nur in Leserichtung ein Performancegewinn möglich sein kann. Beim Schreiben verdoppelt sich immer die Zeit, die eine Einzelplatte brauchen würde, da eine Schreibanforderung immer an beide Platten geht und beide Platten auch Vollzug melden müssen, damit die Anforderung als erledigt gilt.
Dazu kommt, daß bei den meisten Raid1 die Plattencaches entweder abgeschaltet oder nur auf Write-Thru gesetzt werden. Damit die Plattenperformance dann nicht ins Bodenlose stürzt, kann man bei den meisten Chipsatz/Fake-Raids einen Volumencache aktivieren.
Sowas ist natürlich auch bei den meisten HW-Controllern möglich, wenn eine BBU installiert wurde oder man die Cache-Einstellung trotz fehlender BBU überschreiben kann.
Weshalb man ohne BBU und USV auf den performancebringenden Aktivierung des Write-Back-Cache verzichten sollte, haben wir schon oft genug beschrieben und findet sich daher über die Forensuche.

Sämtliche Angaben zum Raid10-Aufbau fehlen leider. Ein Raid10 wird aber um so schneller, je mehr Platten eingebunden sind. Wenn du jedoch nur das Minimum von 4 Platten hast, brauchst du dich über fehlende Performance nicht wundern.

[tester78]

Also Stripe Size ist 8kb.

Die beiden Raid1 sind über 2 Platten.

Und das Raid10 über 4.

Und sind alles 15k Festplatten.
BBU ist aktiviert.
Firmware aktuell.

Ob der cache aktiv ist sehe ich im Dell server Administrator nicht, aber da er von Dell so kam gehe ich davon aus.
Aber ich prüfe es nochmal.

Wenn die Performance in meiner Konfig so also nornmal ist und ich damit nicht zufrieden bin, dann muss ich wohl einen performanteren Controller kaufen müssen und ein Raid10 über 6 HDD für Daten und ein raid1 für das OS einrichten müssen, oder?

[irix]

Du moechtest dann schauen ob "Write Back" fuer die einzelnen Volumes gesetzt ist.

Gruss
Joerg

[Dayworker]

Je nach Platzbedarf würde ich einfach beide Raid1 komplett weglassen und dann alle Platten in ein Raid10 integrieren.
Wenn dann der Controller auch noch mehrere Volumes im Raid10-Betrieb unterstützt (dazu sind leider nicht alle Controller in der Lage), würde ich 50-100GB für das OS und den Rest für die Daten vorsehen.

[tester78]

ja das ziehe ich auch in Betracht, oder

2 Platten in ein raid1 für das OS.

Und die restlichen 6 als Raid 10 an einen 8 Fach Raid Controller und noch 2 SSDs als Cache dran.

[Dayworker]

Welchen Cache?
Viele SSDs im Raid bringen je nach verbautem Controller leider die Einschränkung mit, daß der Trim-Befehl nicht mehr funktioniert und die SSDs daher nur noch über ihre Garbage Collection ihre Leistung wiederherstellen können. Dazu kommt, daß erschwingliche SSDs = geringes Platzangebot vielfach auch nur über halbierte Schreibraten ihrer größeren Geschwister verfügen.Etwas umgehen läßt sich das, wenn du eine größere SSD nimmst und großzügig einen Verschnitt einplanst, also gewissermaßen wie bei SAS-Platten nur einen Teil partitionierst.
Während bei SAS-Platten meist nur die schnellen Außenbereiche genutzt werden, damit die Platten nicht unterhalb eines gewissen Schreiblevels absinken, daher auch die etwas merkwürdigen Plattengrößen, würden bei einer teilpartitionierten SSD immer genügend Reservesektoren bereitstehen. Die Partitionierung einer SSD ist ja durch das Wear-Leveling nicht wie bei normalen HDDs feststehend sondern wird dynamisch abgewickelt, damit alle Sektoren gleichmäßig abgenutzt werden.

[tester78]

ja du Hast ja mit allem Recht, aber ich dachte da an diese Technik:

adaptec
http://www.adaptec.com/de-de/products/c ... /maxcache/

lsi
http://www.lsi.com/channel/products/adv ... index.html

bei intel ist es smart response

ibm
http://pocinc.net/blog/technology-news/ ... ver-drives

[Dayworker]

Alles schön und gut, aber werden sowohl die Controller als auch die Funktionalität auch vom/unter ESX(i) unterstützt?
Ich hab mir nur mal die Adaptec-Seite angesehen und leider keine Preise gefunden. Aber ausgehend von der geringen SSD-Größe, werden diese wohl auf SLC-Technik beruhen. Diese bieten hervorragende IO-Raten auch beim Schreiben zum entsprechenden Preis.

Die Frage ist auch, wie es mit der Langzeitzuverlässigkeit aussieht. Auch SSDs sind von Defekten nicht verschont und vom Preis per GB sind sie momentan noch um den Faktor 10 teurer. Dazu kommt, daß SSD mit entsprechender Schreibleistung auch entsprechend stärker eingebunden werden und sich die Strukturverkleinerung absolut negativ auf die Anzahl der Löschzyklen ausgewirkt hat. Während bei 50nm meist noch 10000 angegeben waren, sind diese bei 34nm erst halbiert und bei aktuellen 25nm sogar nur noch 3000 angestrebt worden. Angestrebt deshalb, weil sich zum Beispiel bei der OCZ Vertex2 sogar nur 1000 Löschzyklen in den Datenblättern finden lassen.

Da würde ich eher weiterhin auf rotierende Magnetscheiben investieren. Bei SSDs kommt als Nebeneffekt außerdem noch, abgesehen von einigen vollverschlüsselnden, die fehlende Datensicherheit hinzu. Bedingt durch das Wear-Leveling werden Sektoren ja selbst über "Secure Erase" nicht wirklich gelöscht, sie werden nur ausgeblendet und bleiben weiterhin auslesbar, wenn auch nur per Spezialequipment. Eine Verschlüsselung per "TrueCrypt" ist auch nicht erstrebenswert, da die Platte zur Verschleierung des Füllstandes auch wieder komplett beschrieben wird und damit wieder die Schreibrate einbricht...

[tester78]

Ich weiss ds zumindest LSIs CacheCade alle Betriebsysteme des Controllers unterstützt, und zu denen gehört auch VMWare 4.1.
Ich hoffe ich darf mir sowas bestellen und demnächst testen.
Wenn ich es mit ESX nicht hinbekomme (die Software muss unter ESX installiert werden) dann nutze ich halt mal Microsoft 2k8 mit Hyper V Rolle (also nur wenn es wirklich mit ESX nicht geht).
LSI unterstützt auch z.bsp. MLC Intel SSDs, siehe die hard Compatiblity List.
Bei Adaptec müssen, so habe ich es zumindest verstanden, von Adaptec gebrandete SSDs genutzt werden.

Bei Adaptec habe ich auch keine preise, aber bei LSi braucht man, natürlich neben dem richtigen Controller, noch eine Softwarelizenz. Kosten dafür ca 250€(ich habe Angebote angefordert).
Wegen Vertex2..ist ja auch veraltet, gibt jetzt die Vertex3 mit ca 3000 löschzyklen bei 256Gb Version.
Ich nehme auch mal an, das es verschiedene Modi gibt, also das man aktivieren kann ob der Cache auch zum Schreiben verwendet wird. Das könnte man dann deaktivieren und die SSD wird weniger stark verbraucht. Weiss ich aber nicht, vermute es nur weil es bei Intel Desktoplösung Smart Response so ist.

Okay, das mit der Datensicherheit ist ein Argument.

[Dayworker]

Gerade die Datensicherheit sehe ich als das geringere Übel an. Viel mehr habe ich Probleme mit der stark gesunkenen Löschzyklenzahl.

Die Frage ist auch, ob alle Anbieter auch den ESXi unterstützen. Der ESX ist ja bekanntlich ein Auslaufmodell...
Das die Hersteller wie Adaptec meist nur gebrandete HW unterstützen, ist leider nicht unüblich.
Inwieweit oder ob sich Intels Desktoplösung "Smart Response" überhaupt in den Server-Bereich erstreckt, weiß ich leider nicht. In der Server-Welt wird aber seltenst neue Technik ausprobiert. Ansonsten ließen sich die vielfach geforderten Zuverlässigkeiten von mehr als 99% nicht erreichen. Die einzelnen Zuverlässigkeitsklassen sind unter Hochverfügbarkeit: Kennzahlen und Metriken bei Tecchannel.de übersichtlich aufgelistet. Dabei gilt, jede 9 hinter dem Komma ab 99% kostet mindestens eine Null vor dem Komma und steigt überproportinal an.

[tester78]

Also würdest Du, mit den momentan verfügbaren SSDs, soetwas nicht nutzen, richtig?

[Dayworker]

JEIN. Ich bin glücklicherweise nicht in der Situation, so etwas momentan entscheiden zu müssen.

Verlockend für SSDs sind natürlich schon deren hohe IO-Performance und im Vergleich zu herkömmlichen 3.5er HDDs deren geringerer Energieverbrauch. Dieser geringere Verbrauch ist jedoch immer relativ und in Abhängigkeit zum Vergleichsobjekt zu sehen. Gegenüber einer üblichen 2.5er NB-Festplatte belegen einige Messungen bereits, daß viele der inzwischen auch mit Sata3-Interface erhältlichen SSDs einen höheren Stromverbrauch haben. Das fällt im Server-Umfeld nur nicht mehr auf, da hier vielfach der mögliche und häufiger verbaute Maximal-RAM inzwischen der größte Verbraucher ist. FC- und SAS-Platten spielten hier schon immer in einer anderen Liga und das nicht nur in preislicher Hinsicht.

Im Gegensatz zur herkömmlichen Magnetscheibe nutzen SSDs aber auch das spezifizierte Interface-Maximum besser aus. Ich denke mal, es wird hier auf eine fallweise Entscheidung und vor allem auf den Herstellersupport ankommen.
Mit entscheidend für den Einsatz von DAS, SAN oder nur eher schwachbrüstiges NAS dürften aber auch die damit nutzbaren vSphere-Features sein. http://www.vmware.com/products/vsphere/buy/small_business_editions_comparison.html listet dort einige auf und für viele brauchst du dann eh ein SAN oder NAS. Somit verlagert sich die Entscheidung auf den Storageanbieter, der dafür Support bieten muß.

Das du natürlich auch über Free-NAS oder per ZFS unter Linux einen zweiten Rechner als NFS- oder iSCSI-Server einrichten kannst, steht auf einem anderen Blatt. Die Frage ist, willst du im Problemfall auch VMware-Support genießen und vor allem wieviel Zeit darf wirklich vergehen, bis die Server wieder laufen müssen. Frickellösungen sind möglich, aber sie sind was sie sind und gehören daher nicht ins industriellen Umfeld.