Performance RAID10 am IBM DS3400 mies

[damat]

Hi Leute,

wir bauen gerade im Zuge eines Projektes eine ESXi Installation auf und haben dabei - meine ich - momentan ein Performance Problem

Hardware:
- HP Server ProLiant DL360 G6 mit 2xXeon E5500
- Storage IBM DS3400 mit 8x300 GB SAS (15k) und 4x1TB SATA
- Storage-Konfig 2x RAID10 (aus jeweils 4 SAS-Platten) und 1x RAID5 aus allen SATA-HDDs
- Im SErver stect ein QLogic HBA, Storage ist mit 2 FC-Kabeln angebunden
- ESX4i (U1) auf einem USB-Stick installiert (ansonsten hat der Server kein eigenes Storage)
- Es wurde keine Resourcen-Limitierung konfiguriert

Als VMs laufen fünf NT4-Server und ein Win2008 Server. Alle VMs liegen als Virtuelle Disks auf den RAID10 LUNs (also kein Raw-Device-Mapping verwendet).

Nun die Frage: Wieviel darf man an Dauer-Transferrate von so einem RAID10-Verbund erwarten?

Wir haben momentan nur Tests mit dem Tool h2test (von heise) gemacht. Das liefert unter NT ca. 30 MB/sec Schreibrate und ca. das Doppelte an Leserate (einzeln getestet mit ca. 6GB an Daten, alle anderen VMs währenddessen idle). Das Tool schreibt dabei eine angegebene Menge an Daten auf die HDD und liest diese anschließend aus. Dabei wird jeweils die Zeit gemessen und so der Durchschnitt gebildet.

Interessanterweise liefert der gleiche Test (einzeln, alle anderen VMs idle) unter den Win2008Server VM erheblich höhere Werte, die m.E. aber immer noch zu niedrig sind (Schreiben ca. 70 MB/s Lesen ca. 150 MB/s)

Vielleicht irre ich mich, aber ich würde hier eine Dauertransferrate für die einzelne VM von ca. 200 MB/s erwarten.

Wenn man den Test gleichzeitig unter allen 5 NT-VMs startet, so dass sie konkurierend schreiben/lesen, kommt in jeder VM eine Lese/Schreibrate um 15 MB/s raus.

Die gleiche VM ausgeführt unter VM Workstation 7 unter XP an einer stinknormalen SATA-HDD hat eine erheblich bessere Performance...

Hat jemand vllt einen Tipp, was das falsch konfiguriert sein könnte?

Danke & Gruß,

damat

[irix]

Was fuer ein Sinn macht es 2 RAID10 zumachen bei so wenigen Spindeln? Mach mal nur eins draus und es wird besser.
Dann die Queue fuer den HBA erhoehen. Sofern man nicht weis was fuer Blockgroessen das Programm benutzt ist es muessig ueber die Transferrate zureden. Selbsredent sollten die Partitionen auch entsprechend ausgerichtet sein an den Storage.

Was die schlechte Schreibrate angeht schau halt mal nach on Write Back aktiviert ist.

PS: Die meisten Leute benutzen IOmeter zusammen mit esxtop fuer Diskbenchmarks.

Gruss
Joerg

[damat]

Hallo Joerg

danke für Deine Antwort. Das mit dem Zusammenspannen der beiden RAID10 LUNs werde ich mal ausprobieren.

Die momentane Konfiguration wurde deshalb so gewählt, um die zu virtualiesierenden Server möglichst genau widerzuspiegeln. Auf diesen läuft eine Oracle DB, deren Datenfiles, Redo-Logs und Archivelogs über die physikalischen Devices auf den Original-Servern gestreut sind. Vielleicht erübrigt sich dies nun...

Ich bin beim Thema ESXi Anfänger, deswegen ein paar Nachfragen zu Deiner Message:

Wo kann ich überprüfen ob Write BAck aktiviert ist? In der Gast-VM? In ESX oder im Storage selbst?

Über die Sache mit dem Alignment habe ich schon mal gelesen. Wie kann ich aber die Partitionen denn ausrichten? Im Storage konfiguriere ich ja lediglich die Verbünde, in ESX kommt VMFS drauf und die virtuellen Disks sind ja letzten Endes nur Files im VMFS.

Sorry, für die blöden Fragen, aber ich hatte mit diesen Geschichten noch nie zu tun.

Thanks.

damat

[GTMK]

Wo kann ich überprüfen ob Write BAck aktiviert ist? In der Gast-VM? In ESX oder im Storage selbst?

Wenn du selbst nichts eingestellt hast und die Controllerbatterien in Ordnung sind, wird der Cache eingeschaltet sein. Zu überprüfen im Storage Manager, Support, View Storage Subsystem Profile, Logical Drives.

Wie du das RAID konfigurierst, hängt u.a. von deiner bzw. der Paranoia deiner Firma ab. Ich kenne das Recovery-Modell von Oracle nicht, aber bei Exchange bspw. wird empfohlen, die Logs und die Datenbanken nicht auf denselben physikalischen Platten unterzubringen (was bei einem einzelnen RAID-Set ja der Fall wäre). Wenn dir das abraucht, sind beide weg. Für Exchange würde ich persönlich aus dem 8 Platten ein RAID-1 aus zwei Platten für die Logs und ein RAID-5 aus fünf Platten für die Datenbanken bilden mit einer Hot-Spare. Dafür bezahlst du natürlich mit Performance.

Zur Performance: Ich habe h2testw eben mal auf meiner DS3400 laufen lassen, die mit 3 Einschüben ausgerüstet ist. Einer davon hat 12 SAS-Platten, 15 krpm, 450 GB, die als RAID-6 mit Hot-Spare konfiguriert sind und momentan idle sind. Darauf komme ich ebenfalls auf (nur) ca. 35 MB/s schreibend und 140 MB/s lesend; ich bin aber sicher, dass der Storage mehr kann. Wie mein Vorredner bemerkte: Nimm IOmeter.

Du kannst die Performancedaten auch von der Maschine ziehen, Stichwort smcli, z.B.

smcli -e IP-Ctrl-A IP-Ctrl-B -c "set performanceMonitor interval=60 iterations=60; upload storageSubsystem file=\"C:\DS3400_Performance.txt\" content=performanceStats;

Georg.

[JMcClane]

Wenn der Controller nur 512MB RAM hat dann ist der Cache nicht wirklich effektiv weil der Controller Mirroring aktiv hat standardmäßig. Dann wird quasi der Speicher zwischen den beiden Controllern gespiegelt und darunter leidet die Performance.
Entweder auf 1GB aufrüsten oder das Mirroring abschalten wenn man darauf vertraut das die Controller nicht ausfallen.
Dann sollte die Performance etwas besser sein.

[osu]

oder ein SAN Volume Controller 8A4 Cluster Kaufen