VMware-Forum

Hallo zusammen!

Bei unseren ESXi sind wir mit der Raid Performance nicht so zufrieden.

Hardware:
HP DL380
8 x SAS 146GB 10k
Smart Array P800 + BBU

ESXi 3.5 Update 3

Lokales VMFS.
Im Raid5 kommen wir nur auf ca. 160MB/s schreibend.
Raid10 auf ca. 174MB/s.
Der Write Cache auf dem Raid Controller ist aktiviert (25%R/75%W).

Getestet haben wir mit 2 Raid5 bzw. 2 Raid10 (2x 4SAS HD), wir haben je ein 4GB und ein 15GB von einem ins andere Storage kopiert. Die Performance haben wir der VMWare eigenen Performanceanzeige entnommen.

Gibt es weitere Möglichkeiten das zu Optimieren oder machen wir einfach was falsch?

Mit den Komponenten sollte deutlich mehr drin sein.

Oder ist das VMFS hier die Spaßbremse?

Danke und Gruß,

Andi

Hallo Andi,

ich kann dir deine Frage nicht wirklich beantworten, allerdings ein paar Anmerkungen liefern.

VMFS ist ein shared Filesystem, jedoch wird dieser Zugriff für gewisse Operationen durch die Verwendung von SCSI Reservations geblockt, so das ausschließlich ein Host darauf zugreifen kann.
Das Anlegen von Dateien gehört dazu.

Sofern du deine Tests also mit zwei Hosts durchgeführt hast, wird sich dieses Verhalten negativ auf die Performance auswirken.
Allerdings glaube ich nicht, das dies die Ursache für dein "Problem" ist.

Ich gehe eher davon aus, das einfach nicht mehr möglich ist.

Die Angabe der Transferrate ist nämlich nicht wirklich hilfreich, da sie sich aus zwei Werten zusammensetzt.
Transferrate = IO/sec * IO size
Wieviele IO/s hast du denn während der Tests abgesetzt oder mit welcher IO Size hast du gearbeitet.

Ich persönlich finde 160MB/s einen sehr guten Wert, speziell bei einem RAID 5 Device, welches aus nur 4 Disks mit 10k RPM gebildet worden ist.
Da du ja RAID 5 verwendest, muß das Array bei einem Write neben den geänderten Daten ja auch noch die Parity Informationen berechnen und schreiben.
Somit machen deine Platten im Backend deutlich mehr IO's als du über deinen Copy Job eigentlich verursachst.

Und bei deinem RAID10 hast du je Disk ca. 87 MB/s, dies ist ebenfalls ein sehr guter Wert.

Hinzu kommt noch, das ein Copy Job normalerweise auch nur einen Thread erzeugt (vergleichbar DD).
Moderne Storage Arrays sind aber darauf optimiert, parallele Requests zu bearbeiten, das ist in deinem Testscenario nicht der Fall.

Frag doch mal bei HP nach den Spec Sheets der Platten, dort müßtest du eigentlich alle notwendigen Infos finden.

Ich hoffe, dir damit ein bisschen weitergeholfen zu haben.

Gruß
Ralf

Bei einem Kunden kommen wir mit einem RAID10 mit vier Platten (SAS 15k) auf ca 225MB/s auf der virtuellen Maschine. Platten hängen an eigenem Intel Raid-Controller.

Ein bißchen mehr sollte als zum. bei Deinem RAID10 schon rausspringen. Der Wert beim RAID5 ist ordentlich würde ich sagen

Hallo!

Schon mal danke für die Antworten.

Die beiden Raid System eim Test hängen am gleichen Raid Controller.

Ob ich im Raid 5 nun 4 HDs oder 7HDs hatte, hat bei der Geschwindigkeit nicht viel gebracht. Gleiches gilt für das Raid10 mit 6HDs.

Stripeblock größe habe ich mit 128kb und 256kb getestet. Bringt etwas, aber nicht viel.

Was außerdem ausfällt ist das die Geschwindigkeit sehr schwankt.

160MB/s ist der Maximalwert gewesen. Zwischendurch fällt die die Geschwindigkeit auf ca. 60-80 MB/s ab. In der VMWare Performance anzeige sieht das dann so aus, das ein Wert hoch, einer tief, einer hoch usw. ist. (alle 20sec wird aktualisiert)
DIe Schwankungen erkläre ich mir durch das Caching des Controllers der wohl voll läuft.

Das keine Paralellrequests durchgeführt werden, das kann gut sein. Nur wo schaltet man das ein?

Grüße,
Andi

Copyjobs sind denkbar schlecht als Test für die Geschwindigkeit. Bitte teste die Performance mit IOmeter. Das sollte etwas aussagelräftiger sein.

SCSI Reservations sind eigentlich nur dann ein Problem, wenn der Gast auf Snapshots läuft oder man thin-provisioned VMDKs einsetzt.

bla!zilla hat geschrieben:Copyjobs sind denkbar schlecht als Test für die Geschwindigkeit. Bitte teste die Performance mit IOmeter. Das sollte etwas aussagelräftiger sein.

SCSI Reservations sind eigentlich nur dann ein Problem, wenn der Gast auf Snapshots läuft oder man thin-provisioned VMDKs einsetzt.

Mh, dann habe ich aber kein VMFS.
Unter Windows ist die Performance bei Performancetests auch deutlich höher.

Copyjobs gehen da auch viel schneller.

Warum hast du dann kein VMFS?

bla!zilla hat geschrieben:Warum hast du dann kein VMFS?

Ok, das nehm ich zurück.

Was mir trotzdem aufgefallen ist, ist das ich auf eine single SAS HD genauso schnell schreiben kann wie auf ein Raid 5 mit 7HDs. Da sollte es meiner Meinung ja doch einen Unterschied geben.

Ich teste mit IOMeter und h2benchw weiter.

Hi,

was würdest Ihr denn für eine Blockgröße für ein lokales VMFS empfehlen?
1MB? 8MB?

Wie ich das verstanden habe, richtet es sich danach wie groß eine einzelne VM werden soll. Also 1MB für maximal 265GB große VMs.

Richtig?

Grüße,
Andi

Waldgeist2k hat geschrieben:Also 1MB für maximal 265GB große VMs.

für maximal 256gb große vmdk. davon kannst du ja mehrere haben pro vm

Ganz ehrlich: Der Einfluss der Blockgröße des VMFS auf die Performance ist weitaus geringer, als z.B. die Stripe-Size des RAIDs. Wer meint damit Performance rauszuholen, der denkt leider falsch.

Hallo Andi,

wie genau führst du eigentlich deine Messungen durch?
Du sagst, unter Windows erreichst du deutlich höhere Werte.
Ich gehe davon aus, das du diese Werte erzielt hast, als du den Server direkt mit Windows betrieben hast.
Und die anderen Werte hast du dann wahrscheinlich mit einer/zwei Windows VM's erzielt.

Wenn du die Tests in der/n VM's durchführst, wie verhält sich das System?
Legt der ESX Server eine Swap Datei für die VM an bzw. wir diese während der Tests aktualisiert?
Wenn du der VM zwei LUN's zugewiesen hat, befinden sich diese auf einem oder auf zwei SCSI Kanälen?
Falls du NTFS Filesysteme verwendest, hast du diese mit Diskpar aligned?
Hast du die Werte für ausstehende IO Request angepasst oder arbeitest du mit der Standardeinstellung?

Hast du mal die VMware Website überprüft, ob dort eine Version mit aktuelleren SAS oder SCSI Treibern findest?

Bin gespannt wie's weitergeht.

Gruß
Ralf

bla!zilla hat geschrieben:Ganz ehrlich: Der Einfluss der Blockgröße des VMFS auf die Performance ist weitaus geringer, als z.B. die Stripe-Size des RAIDs. Wer meint damit Performance rauszuholen, der denkt leider falsch.

Hi,

die Frage zielte ja auch nicht auf die Performance hin ab sondern war eher allgemein. Wollte dafür nicht unbedingt ein neues Thema eröffnen.

@ Ralf, ich schreib das morgen mal zusammen.

Grüße,
Andi