Netzwerkperformance-Problem: NFS-Datastore über Intel NIC

[Loc2262]

Hallo zusammen!

Habe hier ein merkwürdiges Problem bei einem neu aufgesetzten ESXi System (Virtualisierungsserver für meine Uni). Vielleicht hat jemand eine Idee.

Wir haben zwei PCs. Der erste (Intel Core i5) spielt VM-Host. Hat eine 500 GB Festplatte, nur zum booten und als CD-Image Store.

Der zweite PC mit Ubuntu Server 10.04 dient als Storage-Maschine. Dort ist auf zwei HDDs mit je 2 TB ein Software RAID-1 eingerichtet und per NFS exportiert.

Diesen NFS-Export nutzt der Host-PC als Datastore.

Beide PCs haben jeweils zwei Intel 82541PI Gigabit NICs. Einer davon (eth0 bzw. vSwitch0) verbindet Host und Storage zum Netzwerk, der zweite (eth1 / vSwitch1) wird als direkte Kabelverbindung für den NFS-Storage verwendet.

Nun das Problem: der Netzwerkdurchsatz zwischen ESXi und Storage. ESXi erreicht nur ca. 200 MBit auf der direkten Verbindung zum Storage-PC. :| Resultiert in ca. 25 MB/s Lese- und Schreibrate.

Der begrenzende Faktor scheint dabei wirklich der Netzwerktransfer zu sein und nicht etwa die Festplatten etc.:

• Ich habe einen Testtransfer gemacht von einer physikalischen Maschine auf eine VM (deren Festplattenfile auf dem NFS-Mount liegt). Der Traffic kommt über vSwitch0 rein, und zwar mit ca. 600 MBit! Landet dann zuerst im Plattencache der VM und wird von da auf den Storage geschrieben, über vSwitch1 und nur mit ca. 200 MBit.
• Ein Testtransfer von der physikalischen Maschine direkt zum Storage-PC läuft ebenfalls mit ca. 600 MBit.
• Intern kopieren die Platten im Storage-PC mit 120 MB/s lesen und schreiben.

Da die NICs identisch sind, scheint es, als hätte ESXi ein Performanceproblem, wenn ein Datastore über NFS angesprochen wird. Softwareproblem? Gibts Settings, an denen man drehen kann?

Ich habe bereits erfolglos probiert:

• iSCSI anstelle von NFS
• ESXi 4.1 und 5.0 getestet
• Mit und ohne Jumbo Frames
• Das mdadm-RAID durch eine einzelne Partition ersetzt
• Verbindung zwischen Host und Storage über Switch anstatt direktem Kabel
• vSphere-Settings und Shell-Kommandos durchgeschaut, ob mir was ins Auge springt

Bin für jegliche Ideen sehr dankbar!

[irix]

Wenn vSphere das NFS nicht genau erkennt dann werden extrem konservertive Einstellungen genommen. Ob man da dran etwas aendern kann ist mir nicht bekannt.

Dort wo ich NFS begegne steht eine NetApp dahinter und die hat auch genug "bumms".

Gruss
Joerg

[Loc2262]

Ein weiterer Hinweis. Ich habe mal auf dem Host direkt einen Transfer mit dd ausprobiert. Schreibrate ca. 25 MB/s.

Beim Lesen mit dd erreicht der Host immerhin 35 MB/s.

Es wäre sehr schade, wenn sich daran nichts ändern ließe. Ich kann es mir fast nicht vorstellen.

Die Linux-Kiste hat genug "wumms", wenn man bedenkt, daß ESXi nur mit 200 MBit schreibt, die Daten ein paar Sekunden in den Cache wandern, und sie dann in einem Rutsch (120 MB/s) auf die Platte geschrieben werden.

CPU ist auch nicht überlastet auf dem ESXi. Ich verstehe nicht, woher die Datenbremse kommt. Das kann doch nicht so gewollt sein.

[Loc2262]

Der nächste Test:

Ich habe zwei NFS-Freigaben gemacht, und beide laufen über separate NICs vom Storage-PC zum VM Host und werden dort als separate Datastores eingebunden. Dann wieder "dd" Test direkt auf dem Host.

Trotzdem ist die jeweilige Summe der Transferraten von eth0 und eth1 kaum höher als 200 MBit. WTF? Gibt es ein hartes Limit auf 200 MBit für den NFS-Client??

[Santa]

Storage I/O Control NFS support. vSphere 5.0 extends Storage I/O Control (SIOC) to provide cluster-wide I/O shares and limits for NFS datastores.

Du bist auch sicher, daß Du alles auf "unlimited" gestellt hast?

[Loc2262]

Du bist auch sicher, daß Du alles auf "unlimited" gestellt hast?

Ich hab nichts daran umgestellt vom Default... Falls Du die "Resource Allocation" für die VMs meinst. Aber yepp, steht alles auf Unlimited.

Zusätzlich: Ich mache die Tests ja teils direkt auf dem Host, in der SSH-Shell. Kann man dort irgendwelche Limits einstellen?

[Sven_B1982]

naja hatte das problem auch(aber 25MB/s wären schön gewesen), habs dann über iSCSI versucht und auch dort hatte ich immer wieder probleme mit den "standardeinstellungen", der ESXi reagiert dann extrem zäh(auch über die Konsole) und arbeiten drauf ist nicht wirklich möglich. habs mit verschiedenen Software-NAS versucht(FreeNas und open-e) aber bin bis jetzt nicht über 25MB/s gekommen.

[karode]

Ich hatte das gleiche Problem. In einem Paper habe ich dann gelesen, dass dieses Problem duch das syncronen Lese und Schreibzugriff auf NFS entsteht. Ich bin mir aber nicht sicher, ob das bei den neueren Versionen auch noch gilt.

[tester78]

die VMs haben VMXNet3?

[irix]

die VMs haben VMXNet3?

Was haben die vNICs der Gaeste damit zutun wenn die Storageanbindung des Hosts "langsam" ist?

Gruss
Joerg

[Loc2262]

Siehe irix. Die Gäste haben alle VMXNet3, aber die Tests laufen auf dem Host.

Ich habe inzwischen ein paar weitere Tests gemacht und festgestellt, daß die Verwendung von "sync" statt "async" bei NFS in der Tat einen starken Performanceeinbruch bewirkt. Vermutlich durch Latenzzeiten beim Warten auf die Bestätigungen.

Ein Sync-NFS-Export kommt auch beim Zugriff durch ein Linux auf einer physikalischen Maschine kaum über 25 MB/s hinaus. Wenn/da VMWare auch in ESXi 5 die Festplattenfiles "sync" öffnet, auch wenn der Server "async" vorgibt, wird man wohl nicht besser als 25 MB/s beim Schreiben werden.

[irix]

Siche mein erstes Posting und ja der ESX verwendet dann "sync"fuer den Verbindungsaufbau zum NFS.

Gruss
Joerg

[kastlr]

Hallo Frank,

wenn ich deinen Aufbau richtig verstanden habe, läuft sämtlicher NFS Traffic vom ESXi Server zum Storage über die "Cross Connect" Verbindung.

Nur mal so eine Frage, hast du dafür auf beiden Netzwerkkarten (ESXi und Storage Host) den Speed hart auf 1GBit/FD eingestellt?
Da du für diese Verbindung keinen LAN Switch einsetzt, würde ich dem autonegotiation Prozeß nicht so ohne weiteres trauen.

Ich hatte mal einen Fall, da hat sich eine NIC in einem ESX Server partout nicht auf 1 GB schalten lassen, obwohl diese an einem managed LAN Switch hing.
Weise im ESXi Server einfach mal die NICs dem jeweils anderem vSwitch zu, so das der LAN Traffic über die andere NIC läuft und der NFS Traffic über die NIC, die in deinem Test schon bewiesen hat, das sie 600MBit bedienen kann.


Viel Erfolg beim basteln.

Gruß
Ralf

[Loc2262]

@kastir: Vielen Dank für Deinen Tip! Ich habe aber Zweifel, daß es damit etwas zu tun hat.

Die beiden Netzkarten stehen im ESXi fest auf Gigabit Full-Duplex. ethtool auf dem Storage-Host zeigt beide mit "1000Mb/s, Duplex Full" an. Die Karten sind identisch.

Die geringe Geschwindigkeit zeigt sich auch, wenn ich einen dicken externen Fileserver (angebunden über die Karte und den Switch, die 600 MBit hinbekommen) als NFS-Ziel wähle.

Ich schätze, die einzige Chance hier wäre, den NFS-Server so zu "hacken", daß er trotz der Sync-Anforderung von ESXi im Async-Modus arbeitet. Ob man das kann und/oder möchte ist die nächste Frage...