VMware-Forum

versuche seit längerem unsere beiden kostenlosen ESX Server über eine Netzkartenbündelung so anzubinden, da vernünftige Transferzeiten entstehen.
Ziel soll es sein, über separate vSwitches die Datensicherungen durchzuführen.
Aktuell müssen zunächst jedoch alle VM´s einmalig übernommen werden (3,5 TB).

Eingesetzt wird
1x ESX 5.1 mit 2 vSwitches:
- 1x für Produktiv VM´s + 2 Nic´s + VMkernel-Port
- 1x für Backups mit einer Ubuntu VM als NFS-Server (1x VMXNET3) + 2 Nics +VMkernel-Port - alles tagged
physisch angeschlossen an einen unmanaged Switch D-Link DGS-8000D
1x ESX 5.5 mit 3 Switches;
- 1x für Produktiv VM´s + 2 Nic´s
- 1x für Management + 2 Nic´s + VMkernel-Port
- 1x für Backup mit einer Ubuntu VM als NFS-Server (VMXNET 3) + 2 Nics - + VMkernel-Port alles tagged
physisch angeschlossen an einen unmanaged Switch D-Link DGS-8000D

Beide D-Link Switches sind über einen weiteren Switch D-Link DGS 12-24 verbunden.

Alle VMkernel-Ports haben eine IP-Adresse aus dem gleichen Netzwerk.
Für die vSwitches wurde die VLAN-Id 4095 verwendet und für das NIC Teaming die Optionen
"Anhand des IP-Hashs Routen" +
"Nur Verbindungsstatus" +
"Switches benachrichtigen" +
"kein Fallback" gesetzt.
Anm.: bei einigen Versuchen hatte ich auch alternativ "Anhand der ursprünglichen ID des virtuellen Ports Routen" (erfolglos) gesetzt.


Die NFS-Shares der jeweiligen NFS-Server (Ubuntu VM´s) sind auf beiden Hosts als Datenspeicher angelegt und können beidseitig problemlos angesprochen werden.

Bei einem Kopiervorgang mit vmkfstools von Host1 / NFS-Share --> Host2 / Raid kommen jedoch Transferzeiten von max. 10-15 MB/s zustande.
Bei funktionierendem Teaming sollten da doch höhere Durchsatzraten rauskommen ?


Anhand von esxtop kann ich ersehen, das der Datentransfer vom Host1 / Switch2 zum Host2 / Switch1 erfolgt und NICHT wie erwartet an Host2 / Switch2.
Esxtop zeigt aber eindeutig an, dass seitens hosts1 der (tagged) Switch2 / Host1 benutzt wird.
Auch findet (richtigerweise) kein Datenverkehr auf dem host2/switch0 statt. Also wenigstens hier kein abstruses Routing...

Deshalb habe ich auch einen Gegenversuch gemacht und vom Host2 direkt auf die NFS-Freigabe kopiert:
# time vmkfstools -c 10GB -d eagerzeroedthick …
Ergebnis war ein Datendurchsatz von rd 71 MB/s (was aber wohl eher der optimierten Datenübertragung von "eagerzero" zuzuschreiben ist).


Variante 1:
anstelle VLAN id "4095" habe ich auch "10" eingesetzt, Dann komme ich aber von keinem Host mehr an die NFS-Shares ran - auch nicht an die eigenen

Variante 2:
Ich habe es anstelle des VLAN Taggings auch erfolglos mit der Vergabe von IP-Adressen aus einem andren Netzwerk Segment für die Host-zu-Host Anbindung versucht.


Tja und nun hoffe ich nur noch, dass mir jemand weiterhelfen kann ...

Ergänzung:

Messungen mit netperf zwischen den VM´s (Ubuntu) für die NFS-Shares ergeben:
Host1 <--> Host2 = 112 MB/sec (in beide Richtungen).

Ohne durch dein Setup durchblicken zu können, einige Anmerkungen:

- Auch mit funktionierendem Teaming wird pro IP-Verbindung maximal 1 GBit (~100 MB/s) zustande kommen - 2 GBit (2 pNICs) oder 3 GBiit (3 pNICs) kommen nur im Idealfall über alle gleichzeitigen IP-Verbindungen gemittelt heraus.
- VLANs dienen der logischen Trennung von Netzwerken auf dem gleichen physischen Netzwerk. Dein Setup sieht nicht so aus, als ob du das wirklich brauchst (ID 4095) - jedenfalls ist das nicht ersichtlich.

@ thc,

die physische Trennung der Netzwerke soll nach der erfolgreichen Datenübernahme aller VM´s erfolgen.

- Auch mit funktionierendem Teaming wird pro IP-Verbindung maximal 1 GBit (~100 MB/s) zustande kommen - 2 GBit (2 pNICs) oder 3 GBiit (3 pNICs) kommen nur im Idealfall über alle gleichzeitigen IP-Verbindungen gemittelt heraus.

dann müsste ich mehrere IP-Verbindungen zum Backupserver einrichten ?

Goulasch hat geschrieben:die physische Trennung der Netzwerke soll nach der erfolgreichen Datenübernahme aller VM´s erfolgen.

Dann erschließt sich mir aber nicht, warum du VLANs einsetzen willst.

Goulasch hat geschrieben:dann müsste ich mehrere IP-Verbindungen zum Backupserver einrichten ?

Deine Backupsoftware müsste während der Sicherung von sich aus mehrere (n) gleichzeitige Verbindungen aufbauen, um das pNIC-Team mit n x 1 GBit auszulasten.

Menno.... wenn du 115MB/s auf dem Netzwerk siehst aber dann beim NFS nur 15MB/s dann frage ich mich warum man am Netzwerk rumdoktort wo es doch beim einem Faktor von 8x ein Storage Problem bzw. dem NFS Mount hindeutet?

Frage: Wird "sync" als Option verwendent? Weil dann ist es klar das dein Storage so langsam ist. Wobei du uns noch nicht veraten hast was an phys. Storage unten drunter ist.

Nebenbei:
- Man moechte immer ein eigenes Subnetz fuer Storage / vMotion usw haben
- In Produktivumgebungen moechte man auch VLANs haben

Gruss
Joerg

Route based on IP hash verteilt nach IP hash... und wenn da eine Ziel- und eine Quell-IP ist dann hat das alles denselben Hash und geht über eine Leitung.

Bei 1GBit NFS kann man der Storage mehrere IPs geben, mehrere Exports über die unterschiedlichen IPs freigeben und dann mehrere NFS Datastores anlegen und die VMs verteilen. Dann werden wenigstens beide Leitungen benutzt (hoffentlich).

Wird Zeit daß VMware mal pNFS kann.

Aber mit NFS haben die es zur Zeit ja eh nicht so.

iSCSI verteilt das besser; da hat man normalerweise RoundRobin.

Re: VLANs: best practice ist Trennung von Management- Storage und VM-Traffic. Reicht schon wenn die NSA alles mitliest.