HDD Schreibperformance

[MrReed]

Hallo zusammen,

ich teste gerade etwas den ESXi 4.1 aus, da wir ihn eventuell bei uns einsetzen möchten. An sich bin ich sehr zufrieden nur habe ich ein komisches Problem mit der Festplattenperformance: Der Lesedurchsatz ist absolut in Ordnung (ca. 60 MB/s gemessen mit bonnie, iozone, zeitmessungen), der Schreibdurchsatz liegt aber zwischen 4-8 MB/s. Ein Hardwareproblem ist auszuschließen (getestet). Das System (ein FS Primergy TX200 S3) ist von VMware zertifiziert und es steckt auch keine weitere Komponente in dem Server. Die SATA-Festplatten sind im Hardware RAID-1 angelegt und hängen am originalen LSI-SAS/SATA Raidcontroller der im TX200 S3 verbaut wurde.

Das VM-Betriebssystem ist openSuse 11.2 mit installierten VMTools. Ein ähnliches Verhalten erreiche ich aber auch im Windows-Gast.

Evtl. kann mir jemand einen Tipp geben, wo es hängen könnte, dass die Festplatten Schreibperformance so dermaßen im Keller ist?

Ich habe bereits die Festplatte der VM als "Paravirtualisiert" sowie als "LSI SAS" versucht einzustellen. Beides Varianten ändern an der grottigen Schreibleistung nichts......nach jedem Umstellen habe ich die VM-Tools deinstalliert und dann wieder installiert.

Viele Grüße und Danke vorab!

Jürgen

[irix]

Raidcontroller mit Cache und BBU? Mal davon abgesehen ist die Anzahl an Spindeln unterdimensioniert sofern da mehr als eine VM auf dem Host rumturnen soll.

Gruss
Joerg

[MrReed]

Hallo,

wie gesagt das Hostsystem kann nicht der Fehler sein. Wir haben den Server 4 mal (komplett identisch in allen Belangen) und die anderen 3 laufen ohne Hypervisor mit normaler Geschwindigkeit und auch eben das System auf dem ich hier mein Schreibproblem unter ESXi 4.1 habe läuft unter einem direkt installierten System absolut normal und perfomant (auch was das Schreiben auf die HDDs angeht).

Es muss also irgendeine Einstellung oder Fehlerkonfiguration im Hypervisor sein.
Ich weiß nur nicht wo und wie ich da suchen kann/soll?

Hab bisher nur folgende Lösung/Vorschlag im Netz dazu gefunden, weiß aber nicht so genau ob das nicht quatsch ist:

Code: Alles auswählen

Open the .vmx file for the affected virtual machine while it is powered off. Add the following lines to the file using a text editor.
Note: If you are using VMware Server, you may need to restart the VMware Authorization Service (vmware-authd) for changes to take effect.
MemTrimRate = "0"
mainMem.useNamedFile= "FALSE"
sched.mem.pshare.enable = "FALSE"
prefvmx.useRecommendedLockedMemSize = "TRUE"

Wäre für jegliche Anregungen dankbar!

Viele Grüße,

Jürgen

[PeterDA]

Hi,
wie viele Platten sind den verbaut? Und wie Joerg schon angefragt hat, hat der RAID Controller aktivierten Cach und BBU?

Gruß Peter

[MrReed]

Hallo Peter,

ja der Cache ist aktiviert und es sind 2 Festplatten im RAID-1 Verbund verbaut.

Wie bereits aber schon gesagt, das System ist ebenso konfiguriert wie die andern 4 und leistet mit einem installierten Betriebssystem die entsprechende Leistung. Nur VMware ESXi 4.1 streubt sich in einer annehmbaren Geschwindigkeit auf die Festplatte zu schreiben....

Viele Grüße und danke für die Tipps bisher,

Jürgen

[deathrow]

Ohne Batterypack solltest Du den Cache tunlichst nicht aktivieren, daß ist nicht ungefährlich, wenn doch mal der STrom kurz Rappler macht. Manche Controller schalten den Cache auch erst wirklich ein, wenn eine BBU dranhängt und das merkst Du deutlich.

Und bei zwei popeligen (entschuldige) SATA-Platten im RAID1 kann ich mir nicht vorstellen, daß die Performance da bei physikalischen Kisten soviel besser ist.

Häng doch mla testweise wenigstens vier Platten rein und mach ein RAID10 und teste dann nochmal.

[Dayworker]

Beim ESX(i) interessieren keine Treiber-Optimierungen, es kommt nach HW-Einbindung nur noch auf die reale Performance von Kontroller und Platten an. Ein Raid1 kann dort aber keine Bäume sondern höchstens Grasbüsche ausreißen.
Wenn du halbwegs vernünftige Leistung haben willst, wirst du zusätzlich mindestens 1 oder 2 Platten für ein Raid5 draufpacken müssen. Ein Raid10 mit nur 4 Platten dürfte neben dessen üblicher 50%iger Platzverschwendung auch nicht wesentlich performanter sein, als eine einzelne Platte normalerweise wegschreiben würde.

[MrReed]

Hallo zusammen,

ich habe nun das Problem gefunden. Es war nun doch so, dass der Cache für das Array (!) nicht aktiviert war. Dies konnte ich mit dem LSIUtil auf der ESXi Commandozeile beheben und mit aktivierten Write-Cache stieg auch die Schreibperformance massiv an. Ich liege nun beim gut 5-6 fachen des Ursprungswertes.
Leider ist insgesamt die Performance von ESXi dennoch enttäuschend im Vergleich. Der auf dem gleichen Hardsystem installierte XenServer schafft ohne aktivierten Wirte-Cache bereits deutlich höre Zugriffsraten als VMware mit aktivierten Cache. Nachdem ich auf dem XenServer nun auch den Write-Cache aktiviert habe, konnte dieser nochmals zulegen und liegt bei allen Benchen unter Linux und Windows meist mit mehr als 10MB /s vorne (was bei einer Dimenstions von ca. 60 MB lesen und 30-40 MB schreiben schon einigen % entspricht).

Mir ist klar, dass in einem FC oder iSCSI Setup die Werte für Lese und Schreibzugriffe auf die Festplatte nur noch eine sehr untergeordnete Rolle spielen, dennoch bin ich sehr überrascht, dass der ESX hier doch sehr deutlich dem Konkurrenten XEN hinterher hinkt.

Ich möchte abschließend allen danken, die hier auf meine Frage geantwortet haben und mir halften auf das Problem zu stoßen.

Außerdem möchte ich noch dem Betreiber der Seite "virtualistic" danken, denn ohne die gute Dokumentation hätte ich den Write-Cache in meinem Controller wohl nicht aktivieren können:

http://www.virtualistic.nl/archives/526

Viele Grüße,

Jürgen

[Tschoergez]

Hi!
wie hast Du denn gemessen, um an vergleichbare Werte zwischen VMware und XEN zu kommen?
Viele Grüße,
Jörg

[MrReed]

bonnie++ und iozone unter Linux mit jeweils 4facher Dateigröße des Arbeitsspeichers (entsprechend einer Empfehlung aus einem IBM Whitepaper zum benchen von VMs mittels iozone).

VG

Jürgen

[kastlr]

Hallo,

hast du denn mal überprüft, welche Queue Depth der Treiber für deinen Adapter zuläßt?
Checking the queue depth of the storage adapter and the storage device

Wahrscheinlich ist das nämlich der limitierende Faktor, der Treiber wird nur eine gewisse Anzahl von IO's zulassen.

Gruß
Ralf