NIC teaming (Bandbreite erhöhen)

[od73]

Hallo Leute,

ich habe VI3 im Einsatz. Nun möchte ich ein NIC Team über zwei 1 GB NICs durchführen. Ich habe einen Vswitch erstellt, 2 pNics hinzugefügt und KEINE Einstellungen in den Optionen des Vswitches vorgenommen. Laut Handbuch soll damit die Bandbreite sich verdoppeln. Meine Frage ist, was muss ich tun um die 2 GB in meiner VM zu sehen? Muss noch ein Trunk am Switch eingerichtet werden? Meine VMs die den Vswitch haben, zeigen nur 1GB an. Danke schon mal !

[chrishi]

Hallo od73,

die virtuellen NICs zeigen immer nur 1 Gbit an, egal wieviel Bandbreite Du nach aussen hast (auch wenn es nur 10 Mbit sind). Trotzdem können die VMs jederzeit die volle zur Verfügung stehende Bandbreite benutzen. Du mußt höchstens aufpassen, wenn Du am Teaming bzw. Traffic Shaping oder der Zuordnung von phys. NICs zu Port Groups rumschraubst. Dann kann es sein, dass da was gebremst wird.

Grüße

Chrishi

[od73]

mhhh, man muss also in der virtuellen Maschine mal eine Trafficwatch Software laufen lassen. Bei ESX2.x hat man das schön am vswitsch gesehen. Hast du das getestet oder nachgelesen?

[od73]

Habe eben mal den W2k3 Performancemonitor laufen lassen. Hat ca. 14 MB/sek angezeigt. N aja !

[Tschoergez]

Hi!

innerhalb einer VM sieht man immer 1Gbit, das ist (wie chrishi richtig bemerkt hat) unabhängig von der tatsächlich verfügbaren Bandbreite.

Wenn Du mehrere physikalische NICs an einen vswitch anschließt, erhöhst Du die gesamte Bandbreite für angeschlossenen Ports (also für ALLE VMs).

Du kannst dann eine entsprechende NIC-Teaming-Policy festlegen (in den Eigenschaften des vswitch bzw. der Port Group). Dabei gibts drei Möglichkeiten:
- Port based load balancing
- Out-Mac based load balancing
- IP based balancing

Nur bei der dritten Methode nutzt EINE VM MEHRERE physikalische Netzwerkkarten gleichzeitig. Das muss aber der physikalische Switch unterstützen, denn er sieht natürlich jetzt Pakete von der gleichen Absender-MAC-Adresse über verschiedene physikalische Anschlüsse. (=> Unterstützung nötig für 802.3ad Link Aggregation)

Weitere Infos dazu findest Du im Server-Config Guide
http://www.vmware.com/pdf/vi3_server_config.pdf
im Kapitel "Advanced Networking" (ab Seite 45),

oder natürlich hier auf diesem Sender

Viele Grüße,
Jörg

[od73]

Ahhh, soll also heissen, um ein richtiges NIC Teaming zu erstellen, muss man den Haken bei "load Balancing" und die dritte Auswahl "IP based Balancing" einstellen. Erst dann wird sich die Bandbreite erhöhen? Sieht man das auch irgendwo ? Der Switch muss dann noch 802.3ad Link Aggregation unterstützen. Seh ich das so richtig ? Das ist aus dem Server Config Manual: "When two or more adapters are attached to a single vSwitch, they
are transparently teamed." Da habe ich gedacht, man muss gar nichts mehr einstellen an dem VSwitch. Ist aber nicht so ?

[Tschoergez]

standardmäßig erfolgt das teaming nach der "port based policy". dabei wird jede virtuelle netzwerkkarte an eine physikalische nic gebunden, immer der reihe nach, sozusagen round robin. jede vm nutzt immer nur eine VM. dieser vorgang ist transparent für die VMs.
Load balancing hast Du dabei nur über mehrere VMs, idealerweise, wenn diese etwa die gleiche netzwerkauslastung haben.

wenn eine VM mehrere physikalische pfade nutzen soll, brauchst Du die "ip-based" policy. Dabei berechnet der Kernel für jedes Netzwerkpaket einen Hash aus quell- und ziel-ip-adresse des Pakets. Dieser hash wird dann verwendet um die physikalische NIC auszuwählen. Das hat folgende Auswirkungen:
- Die pakete aus EINER VM (=> mit EINER Quell-MAC-Adresse) gehen über verschiedene Physikalische Ports raus => Switch muss das unterstützen (und nicht etwa als illegale Fehlkonfiguration interpretieren)
- Beste Lastverteilung erreicht man mit vielen verschiedenen Clients, d.h. Ziel-IP-Adressen, weil sich dann ja oft der Hash ändert und der Kernel die Pakete über viele physikalische VMs verteilt.

Sehen tut man das gar nicht, weil die Anzeige des (virtuellen) Netzwerkadapters IN einer VM unabhängig davon ist. Das kannst Du nur messen innerhalb der VM mit entsprechenden Lastgenerierungstools (z.B. IOMeter), die dann Pakete an unterschiedliche Ziel-IP-Adressen schicken.

Viele Grüße und schönes Wochenende!
Jörg

[od73]

Vielen Dank erst mal für die klasse ausführliche Antwort. Durch das Handbuch wäre ich nie auf die richige Einstellung gekommen. Hast du viel mit VMware Beruflich zu tun, oder hast du dir das so nebenbei angeeignet ? Ich muss von meiner Firma aus bei diversen Kunden immer mal eine Vmware Umgebung installieren und die Mitarbeiter schulen. Bei jedem Kunden treten immer wieder neue Fragen und Probleme auf. So lernt man immer was dazu!

Ich wünsch Dir auch ein schönes erholsames Wochenende

Gruss

Alex

[Tschoergez]

Tja, ich habe mich erstmal sehr ausführlich nebenher mit dem ESX beschäftigt, und find die Software supergenial.

Und dann hab ich das mit zum Beruf gemacht. Bin inzwischen Trainer für die offiziellen VMware-Kurse

Viele Grüße,
Jörg

[od73]

Ich noch mal! Ich habe die EInstellungen am Switch noch mal gecheckt. Bei den Eigenschaften von dem Vswitch habe ich zwei Möglichkeiten. Ich kann bei den vswitch (56Ports) und an der virtual Machine Port Group diese Konfiguration vornehmen. Muss man das bei beiden machen? Ich habe Bilder angehängt. Einmal von dem Vswitch und dann von der Port Group.

[Tschoergez]

Die Einstellungen direkt am vSwitch gelten für alle Ports an diesem Switch.
Falls Du Einstellungen nur an einer Portgroup vornimmst, überschreiben diese die "globalen Einstellungen" für den ganzen vSwitch.

Viele Grüße,
Jörg

[od73]

OK, die Einstellung ist aber so richtig (siehe Anhang) ? Die Geschwindigkeit hat nicht zugenommen. Liegt wahrscheinlich am Nortel Switch. Ich habe zwei VMs mal auf einen internal Switch gelegt, da ist die Geschwindigkeit auch nicht schneller. ich habe gedacht, die Daten werden über die HDD Backplane verschoben?

[MYO]

es ist nochmal ganz wichtig:

alles was NIC Teaming betrifft läuft über 802.3ad protokoll.

Bei Nortel ist es so, das dies bei den 5510 Switches grade erst unterstützt wird..
Mit anderen Worten: brandneu...

bei älteren Modellen bin ich mir nicht ganz sicher ob es in der neusten firmware schon drin ist, am besten bei Nortel schlau machen.

[od73]

Ah ha ! Das habe ich mir schon gedacht. Die Netzwerker wusten auch nicht ob es geht. Danke für den Hinweis. Die Einstellungen sind aber so OK ?

[Martin]

Noch ein weiterer kleiner Hinweis: Auch mit NIC-teaming kann eine einzelne Verbindung nicht mehr als die Bandbreite einer Netzwerkkarte nutzen. D.h. wenn z.b. ein Filetransfer zwischen dem Server und einem Client betrachtet wird, wird dieser nur über eine einzelne Netzwerkkarte ausgeführt, da hierbei sich ja weder Quell- noch Ziel-IP Adresse ändern. Erst wenn mehrere Verbindungen zu unterschiedlichen Clients gleichzeitig stattfinden, kann die erhöhte Bandbreite genutzt werden.

Martin

[developer_76]

Hallo Zusammen,

kann mir einer von euch die Funktionsweise von "source MAC-based" erläutern?
Ich habe mir schon die Config-Seiten von VMware angeschaut, bin aber zu keiner
für mich verständlichen Antwort gekommen.


Gruß

developer_76

[Tschoergez]

Hi,

sorry für die späte Antwort, war im Urlaub

Also bei source-mac-based berechnet der vSwitch für jedes Netzwerkpaket einen Hashwert, anhand dessen er festlegt, über welchen Uplink das Paket verschickt wird. Eingangsinformation für die Hashfunktion ist die Quell-MAC-Adresse.
Folglich wird jedes Paket aus einer VM immer über den gleichen Uplink verschickt, da sich die Quell-MAC-Adresse ja nicht ändert.

Hat also die gleichen Auswirkungen wie die "Port-based"-Variante ab ESX3.x, war default beim ESX2.x und gibts eigentlich nur noch aus historischen Gründen.

Wenn man neu anfängt, tuts die "Port-based"-Einstellung genauso.

Die verschiedenen Load-balancing-Strategien wurden hier im Forum schon öfters ausführlich diskutiert, falls Du auch den Vergleich mit ipbased balancing brauchst usw.

Viele Grüße,
Jörg

[nadsas]

bei NIC Teaming muss auch der physische Switch darauf eingestellt werden !

[angoletti1]

bei NIC Teaming muss auch der physische Switch darauf eingestellt werden !

JAIN,

beim ESX gibt es teaming und teaming, MUSS also nicht auf den Switches eingestellt werden!

[nadsas]

das Teaming um performance zu gewinnen ist meines erachtens das, zwei NICs parallel anzuhängen. das heisst der Cisco (oder was auch immer) switch muss wissen dass auf einem Port nur Daten reinkommen und auf dem anderen nur rausgehen.

[xooops]

Hallo zusammen

Echt ein guter Beitrag! coole Sache.

Aktuell haben wir „Route based on the originating virtual port ID“ aktiviert. Der vSwitch hat 3 physische NICs. Das heisst eine VM Session greift aber nur immer über eine die ihm vom esx zugewiesene vNic aufs Netz. Oder?

Wenn ich nun eine NIC ausstecke gibt es dann einen unterbruch? Den so müsste er ja eine neue Route berechnen? Könnte ich das mit „Route based om ip hash“ umgehen?

Beste Grüsse
Sven

[net-mas]

@chrishi,

ich muss dich leider enttäuschen, bislang ist der ESX-Kernel nicht in der Lage Netzwerkanbindungen schneller 1GB physisch zu nutzen (auch wenn er sie offiziell supported unterstützt).
Siehe auch mein Beitrag unter http://vmware-forum.de/viewtopic.php?t=13285
Das Problem scheint hier irgendwo im Kernel zu liegen, lt. Konfig sieht zwar alles nach "Mehr" aus, aber ein Datendurchsatz größer 160MB/sek. hab ich noch bei keinem Beitrag/Google-Suche/VM-Webseite in einer real aufgebauten Plattform gesehen. Also versprich dir nicht so viel davon, ich gehe mal davon aus, daß erst jetzt, wo der esxi gratis genutzt wird, die Entwicklung auf Hochtouren anlaufen und damit auch Datendurchsätze durch Netzwerke erhöht werden.

Eine Offizielle Anfrage an VMWare diesbezüglich läuft bereits. Ich wollte sogar bei denen einen Einzelfall-Call zu ca. 230 € eröffnen. Die erste Antwort darauf hin, sie hören sich mein Anliegen erst einmal an, um danach zu entscheiden, ob ich einen Call eröffnen darf
In der ersten Mail nach einem langen Telefonat mit deren Techniker stand: "Wir melden uns innerhalb 48h" - keine Antwort - neue Mail mit Nachfrage - zweite Mail von denen: "Wir melden uns, sobald wir den Sachverhalt geklärt haben"
Was nehme ich persönlich davon? - Da wird demnächst ein schickes kleines Update kommen, in denen der Kernel auf mehr wie 1GB über Netzwerke aufgebohrt wird...

[konrad29]

Hallo Jörg,

[quote="Tschoergez"]standardmäßig erfolgt das teaming nach der "port based policy". dabei wird jede virtuelle netzwerkkarte an eine physikalische nic gebunden, immer der reihe nach, sozusagen round robin. jede vm nutzt immer nur eine VM. dieser vorgang ist transparent für die VMs.
Load balancing hast Du dabei nur über mehrere VMs, idealerweise, wenn diese etwa die gleiche netzwerkauslastung haben.

ich zerbreche mir den Kopf, weswegen bei mir das Loadbalancing so schlecht funktioniert. Ich hab 4 physische NICs an einem vSwitch mit "Route based on originating Port ID" und scheinbar wird nur eine der 4 NIC verwendet. Jedenfalls läuft 95% des Traffics nur über die eine NIC. Ich hab 10 Virtuelle Maschinen an dem vSwitch.

Du schreibst das jede vNic an eine pNic gebunden ist, ist das dann für immer und ewig, also für jede Verbindung und wo kann ich das einsehen bzw. ändern.

Vielleicht kannst du etwas Licht in meine Fragen bringen.

Danke !!!

[pastors]

Hallo,
sehr interessantes Thema. Dazu hätte ich doch glatt auch noch eine Frage

Wir haben in der Firma auch zwei ESX (3.5.1?) Server bekommen. Aufgebaut hab ich den selber und konfiguriert hat ein Techniker von einer externen Firma. An Netzwerkkarten haben wir jeweils 4x über Quad Port mit Intel Chipsatz und 2x Broadcom Karten. Es sind 2vSwitche eingerichtet, einer mit 2 pNICs und einer mit 4pNICs. Die mit 2 NICs ist für vMotion und Konsole gedacht und der andere vSwitch für das Netz.

So, nun zu den eigentlichen Fragen:

1. wir haben verschiedene Portgroups eingerichtet. Dort läßt sich auch VLANs einstellen. Muß man für jedes VLAN auch einen eigenen vSwitch erstellen? Kann nicht ein vSwitch mit mehreren Portgroups mehrere VLANs bedienen?

2. Welche Werte sind bei Load-Balancing sinnvoll? Beispielsweise bei Burst usw.?

3. hab bei unserem externen HP Switch active LACP aktiviert. Also für die 4 pNICs zum ESX. Wenn ich aber mit sh lacp mir die Konfiguration ansehe, haben diese trunks keine Partner. Ist dies normal oder sollten normale Trunks wie etherchannel verwendet werden???

4. welches Nic-Teaming macht bei uns eigentlich sinn? Die 4 pNICs gehen zum gleichen phy. externen Switch. Vorallem, gibt es außer IOMeter noch andere Tools um die Geschwindigkeit zu testen???

Mist, doch mehr als 1 Frage geworden
Virtualisierung ist halt so ein geniales Thema. Gut das es VMWare gibt

Schönen Sonntag an alle ESXler

[parkesel]

Hallo Leute

Ich verwende ESX zu Hause fuer meine Testumgebungen, Leider setzen wir es in der Firma nicht ein.

Tozdem moechte ich am Ball bleiben, hab mir das Buch von Dennis Zimmer zugelegt doch dort sind eher nur Befehle drin.

Wo Findet man infos fuer solche Themen wie ihr obenbeschrieben habt?
Port Groups, Teaming .........................

Haette jemand Kurs Unerlagen fuer mich?
Den Privat einen ESX Kurs machen naja....................

Vielen Dank

Schoenen Tag