Gigabit ESXi 5 iperf

[T.O.C]

Hallo Vmware-Team,

ich versuche von meinem ESXi 5.0 Host mit Gigabit auf einen NFS-Server (Freenas 8.4 64bit) per ghettoVCB meine VMDKs zu sichern. Die funktioniert soweit super. Allerdings würde ich gerne Gigabit benutzen.
Alle Hardwarevoraussetzungen sind vorhanden (ESXi und freenas server zeigen gigabit an.) Wenn ich allerdings ein iperf von dem ESXi zu dem NFS-Server mache, komme ich maximal auf 35 MB/s (was schneller ist als 100 Mbit aber viel langsamer als gigabit).
Ich habe mein lokales Laptop an das Switch connected und einen Test mit iperf gemacht. Dieser ergab dann die gewünschten ca 110 MB/s. Meine Frage:
Gibt es eine art Beschränkung des Netzwerk traffics für den ESXi? Die Installation ist standart und es sind auch keine limits von mir gesetzt.

Viele Grüße

T.O.C

[MarcelMertens]

Die 1Gb/s zeigt dir nur dir ausgehandelte Geschwindkeit der Netzwerkkarte an.
Ob du wirklich 1Gbit/s durchbekommst hängt von vielen Faktoren ab:
- Performance der Quelle und des Ziels (viele NAS Systeme haben zwar Gigabit, bekommen aber nicht mehr wie 30-40MB/s über die Leitung da die CPU zu schwach ist)
- Lese- und Schreibgeschwindigkeit der Festplatten. Je nach Raid Level und Platten kannst du einfach nicht mehr wie 30MB Schreiben.
- Art der Daten (viele Kleine Daten, Große Daten) Bei VCB Sicherung sind es ehr große, was schonmal gut ist.

Gegen was hast du den iperf test gemacht? iPerf ließt nur aus dem Cache und berücksichtigt nich die Plattengeschwindigkeit.

Grundsätzlich gibt es keine Beschränkung im ESX(i)

[T.O.C]

Hallo Marcel,

ESXi -> NAS-Server mit Iperf = ca 35 - 40 MB/s
Mein Laptop (direkt am Switch wie auch der ESXi) -> NAS-Server mit Iperf = ca 110.MB/s

Derzeit messe ich nur die Netzwerkverbindung. Die Faktoren Plattengeschwindigkeiten, Dateigröße fließt hier noch garnicht mit ein. Derzeit geht es nur rein um den Netzwerkspeed.

Gruß

Martin

[~thc]

Hi.

Nur zum Verständnis: Du vergleichst iPerf zwischen einer physischen (Laptop) und einer virtuellen (ESX) Maschine? Ist die virtuelle Umgebung die ghettoVCB-Appliance?

Da es letztendlich um Storage I/O geht, teste ich dies eher mit einem solchen Szenario:

Testing virtual machine storage I/O performance

Benutzt man statt der RDM eine "Lazy Zeroed"-VMDK, sollte man den Verlust durch das "Zeroing" beim ersten Schreiben beachten.

[T.O.C]

Hallo thc,

danke für die Antwort. Wie gesagt, derzeit geht es nur darum den flaschenhals im Netzwerk zu finden.

Mein Ziel ist es zwischen dem ESXi Host und der NFS-NAS gigabit zu bekommen. Ist es möglich iperf auf den ESXi direkt zu installieren? Ich finde hierzu bei google nichts.

[Dayworker]

Das Problem dürfte in deinem Fall wirklich das NAS oder genauer die darin verbaute CPU zu sein. Damit scheinst du nicht über die bereits erwähnten 35-40MB/s hinauszukommen.
Von der Warte ist dein Vergleich mit dem Laptop nur ein Äpfel-mit-Birnen-Vergleich. Inzwischen sollte es sich herumgesprochen haben, daß alles unterhalb der Performance einer Atom-CPU zu lahm ist, um Gig-Ethernet selbst beim Lesen (vom Schreiben ganz zu schweigen) wirklich auslasten zu können.

Vor diesem Hintergrund sollte auch unsere vielfach geschriebene Abneigung gegen diese Gerätegattung als DS-Speicherort verständlicher werden. Wenn man um diesen Zusammenhang weiß, kann man sich letztendlich auch mit einem NAS als Sicherungsort abfinden, wenn es denn wenigstens energetisch sparsam ist.

[~thc]

Mir ist nicht bekannt, ob es eine für ESXi kompilierte Version von iPerf gibt.

Aber noch einmal: Wie genau misst du denn deine 35 MB/s?

[T.O.C]

@Dayworker:

ich erkläre es nochmal. Es geht hier derzeit NUR um den Netzwerktraffic, die Verlustleistung durch das Schreiben der Platten ist derzeit nicht interessant.
Wenn ich mich an das Gigabit-Switch (mit meinen Laptop) hänge (an dem auch die NAS hängt) und ich ein Iperf von Laptop zu NAS mache, bekomme ich ca 110 MB/s was auch super ist. Ich bekomme aber leider keine 110 MB/s vom ESXi zur NAS sondern nur ca. 35 MB/s. Der Prozessor der NAS kann es also nicht sein, da es ja mit dem Laptop einwandfrei funktioniert.....

@thc

Um der Sache auf den Grund zu gehen messe ich derzeit aus den virtuellen Maschinen heraus direkt an die NAS

Mir ist gerade beim testen ein komische Sache aufgefallen. Ich habe hier zwei virtuelle Maschinen am ESXi (Debian x86 und Windows 7 x64). Um mit der Fehlersuche in den virtuellen Maschinen zu beginnen habe ich in beiden Maschinen iperf installiert. Das Ergebnis: Debian x86 -> NAS (110 MB/s), Windows 7 x64 -> NAS (ca. 35 - 40 MB/s).

Beide virtuelle Maschinen hängen am selben vSwitch und physikalischen Adapter. Allein das ist schon kurios.

[MarcelMertens]

Daher: Es liegt nicht am ESXi sondern am Guest.

Kann es sein dass dir bei Windows das TCP Autotuning o.ä. dazwischenfunkt?

[pirx]

@Dayworker:

Um der Sache auf den Grund zu gehen messe ich derzeit aus den virtuellen Maschinen heraus direkt an die NAS

Mir ist gerade beim testen ein komische Sache aufgefallen. Ich habe hier zwei virtuelle Maschinen am ESXi (Debian x86 und Windows 7 x64). Um mit der Fehlersuche in den virtuellen Maschinen zu beginnen habe ich in beiden Maschinen iperf installiert. Das Ergebnis: Debian x86 -> NAS (110 MB/s), Windows 7 x64 -> NAS (ca. 35 - 40 MB/s).

Beide virtuelle Maschinen hängen am selben vSwitch und physikalischen Adapter. Allein das ist schon kurios.

Verändere bei iperf die TCP Window size auf 65 KB (-w 65536) und du wirst auch bei Windows ca. 110 MB/s sehen.

Ich hatte neulich das gleiche Problem. Mit iperf ohne den -w Paramter nur 1/3 des Durchsatzes. Ein Test mit ftp zeigte aber die erwarteten 110 MB/s.

[T.O.C]

@Dayworker:

Um der Sache auf den Grund zu gehen messe ich derzeit aus den virtuellen Maschinen heraus direkt an die NAS

Mir ist gerade beim testen ein komische Sache aufgefallen. Ich habe hier zwei virtuelle Maschinen am ESXi (Debian x86 und Windows 7 x64). Um mit der Fehlersuche in den virtuellen Maschinen zu beginnen habe ich in beiden Maschinen iperf installiert. Das Ergebnis: Debian x86 -> NAS (110 MB/s), Windows 7 x64 -> NAS (ca. 35 - 40 MB/s).

Beide virtuelle Maschinen hängen am selben vSwitch und physikalischen Adapter. Allein das ist schon kurios.

Verändere bei iperf die TCP Window size auf 65 KB (-w 65536) und du wirst auch bei Windows ca. 110 MB/s sehen.

Ich hatte neulich das gleiche Problem. Mit iperf ohne den -w Paramter nur 1/3 des Durchsatzes. Ein Test mit ftp zeigte aber die erwarteten 110 MB/s.

Du hast recht. Unglaublich. Danke. Kann ich den TCP Windows Size beim beim ESXi auf 65 KB stellen damit der ESXi host per ghettovcb die Daten mit voller Gigabit Verbindung an die NAS schickt?

[pirx]

Ich weiß nicht ob das notwenig ist. Bei mir zeigte nur iperf das Verhalten. Ein Test mit ftp brachte ohne weitere Parameter den vollen Durchsatz. Das war von einem phy. Windows zu einer Linux VM. Ansonsten man auf dem freenas System mit den tcp window scaling spielen.

[T.O.C]

Ich weiß nicht ob das notwenig ist. Bei mir zeigte nur iperf das Verhalten. Ein Test mit ftp brachte ohne weitere Parameter den vollen Durchsatz. Das war von einem phy. Windows zu einer Linux VM. Ansonsten man auf dem freenas System mit den tcp window scaling spielen.

Wie hast du den Test mit FTP gemacht?

[pirx]

Eine entsprechend grosse Datei auf dem Linux System ablegen. Vom Windows System -> ftp -> Linux und dann per put/get beide Richtungen testen.

[Martin]

Meiner Erfahrung nach erreichen "externe" Backups über den ESXi Kernel nie den Datendurchsatz wie aus einer VM heraus.

[T.O.C]

Fehler gefunden. Es lag eindeutig an der FreeNAS Distribution. Mit OpenFiler bzw. Open-e klappt es wunderbar.

Danke trotzdem für die permanente hilfe.