SAN über 10GbE an ESXi angeschlossen - Datendurchsatz?

[net-mas]

Hi @all,

ich habe eine SAN, welche im Raid einen Plattendurchsatz von ca. 350MB/sek bei gleichzeitigem Lesen/Schreiben erreicht (ca. 650 MB bei nur Lesen) über eine 10 Gigabit-Verbindung an einem ESXi-Server hängen.
Wenn das Raid direkt im ESXi steckt, wird die Durchsatzrate annähernd erreicht im Gast-OS. Wenn auf dem ESXi-Server statt des ESXi ein natives Linux läuft, wird auch annähernd die Raid-Durchsatzrate erreicht.
Über die 10Gbe-Leitung sollten 1250MB/sek erreichbar sein - zieh ich mal den Overheat ab, sollten 750-800MB realistisch sein. Die 10GbE-Verbindung ist also eigentlich kein Flaschenhals.
Leider erziele ich nur einen Datendurchsatz von ca. 80-100MB bei Lesen/Schreiben, ca. 160MB bei nur Lesen.
Mir kommt es so vor, als wenn die 10GbE nur wie eine 1Gigabit-Leitung im VMKernel gehändelt wird. Es wird aber die 10GbE auch im ESXi angezeigt.
Hat einer eine Idee, wie ich die Durchsatzrate des Raid (350MB/sek.) auch im ESXi-Gast zur Verfügung habe?

[CLSsupport]

Hi net-mas

Hat sich bei deiner Performance über die 10GbE schon was verbessert ?

Kann man im ESX3i in den GastVMs eine 10GbE NIC installieren, damit zum Beispiel die eine GastVM mit dem SQLserver auf eine andere GastVM mit dem PDC oder eine dritte mit dem Terminalserver mit 1250 MB/sec zugreifen kann, auch wenn man KEINE 10GbE Hardware installiert hat ?

Die internen virtuellen HDDs werden ja alle am internen RAID auf dem HostSystem liegen.

mfg Michael

[bla!zilla]

Nein, dahingehend ist mir nichts bekannt.

[net-mas]

Hi, ich hab derzeit die ESXi-Version 3.5.0 123629 drauf.
Bislang noch keine Verbesserung des 10GbE-Durchsatzes erkennbar.
Die Netzwerkkarten-Problematik innerhalb der VM ist hier nicht das Problem, irgendwo bei VM steht geschrieben, daß der Wert, der bei der Netzwerkverbindung in der VM angezeigt wird, meistens 1GBit ist unabhängig, ob da 100MbIt, 1GBit oder 10GBit physisch dahinter stehen.
Das Problem ist, das der Festplattendurchsatz (durch die 10GBit-Verbindung) so langsam ist. Dies hat nichts mit den virtuellen Netzwerkkarten deiner VMs zu tun.
Die Netzwerkkarten laufen auf physisch andere Netzwerkkarten, die die Verbindung nach außen herstellen, hinaus.

Mein bislang bester Weg ist, den SQL-Servern viel RAM zu geben, damit diese zwar beim Starten langsam die Datenbank in den RAM bekommen, anschließend aber schnell aus dem RAM heraus Abfragen bearbeiten können.
Probiers mal damit, das ist ganz ok, da ist lediglich CPU und RAM Power entscheidend, der langsame HDD-Durchsatz gerät (vom Start abgesehen) da in den Hintergrund.

[net-mas]

Ich möchte spätere Leser hier auf dem Laufenden halten:

sämtliche ESXi3.5-Updates brachten keine Besserung

Rechner platt und ESXi4.0 drauf und voila,

der Datendurchsatz ist von 80MBit/sek auf 173MBit/sek hochgegangen.

ist für eine Festplattenanbindung mehrerer W2003-Terminalserver schon wesentlich entspannder - ich bin damit sehr zufrieden - es wird bestimmt in Zukunft noch etwas mehr werden, aber dieser Wert ist zum Arbeiten bereits ok...

[Saturnous]

Das der iSCSI Stack mit ESX4 überarbeitet ist war weitreichend bekannt ... die Worlds können eigene Verbindungen zur Storage öffnen und paar features fürs offloading wurden auch aktiviert.

Hattest du vergrösserte Heapsize und Jumboframes bei deinem 3.5er überhaupt verwendet ?

[net-mas]

vergrösserte Heapsize und Jumboframes hatte ich probiert, aber mangels Besserung wieder abgeschalten.

iSCSI habe ich aber nicht im Einsatz, ich benutze NFS-Freigabe, hat den Vorteil, daß ich die VMs mit einem normalen Linux lesen/sichern kann, da das Filesystem ja nicht VMFS ist...

[eini]

Hmm, die Frage ist doch aber auch wieviele I/Os dein SAN schafft, der Durchsatz ist das eine aber die I/Os sind entscheidend. Wie testest du das überhaupt?

Kannst du höhere Werte erzielen wenn du mehrere VM´s gleichzeitig auslastest? Was mir bisher aufgefallen ist das der ESX hier "irgendwie" eingreift. Weil z.B. beim VCB könnte er auch deutlich schneller sichern, macht er aber nicht. Wenn ich parallelisiere wird der Durchsatz dadurch erhöht. Diese Beobachtung ist mir auch bei anderen Aktionen aufgefallen. Scheinbar wird hier wie gesagt durch irgendeinen Mechanismus gebremst.

Kannst du eine LUN irgendwie direkt anbinden und die Performance testen?
Wenn du NFS machst würde mich interessieren welches SAN du einsetzt? Das für NFS muss das SAN ja was tun, und dadurch könnte hier ein potentielles Bottlenack liegen...?