Netzwerk: Reichen 2x 10 Gb Ethernet aus?

[stahly]

Hallo allerseits!

Bis jetzt haben wir (fast) alle Hosts mit vielen 1 Gb Karten bestellt. In Zukunft sollen die neuen Maschinen 2x 10Gb Netzwerk bekommen. Reicht das aus? Was meint ihr?

Als grobe Konfig hatte ich mir das so gedacht:
Karte 1: Alle Netzwerke der VMs (ca. 20 VLANs)
Karte 2: vMotion und Management Netzwerk

Jeweils immer einer Karte aktiv und die jeweils andere als Standby, falls eine Karte ausfällt.

P.S.
Die Ausnahme ist die DMZ: Die bekommt einen eigenen Kupferanschluss
Storage ist FC... - spielt also im Netzwerk keine Rolle.

Danke für die Anregungen und Diskussion

[Gad]

Ich würde behaupten, dass hängt davon ab wie viele Daten durch das Netz gehen

Unsere ESX Server haben eine Dual 10 GBit Karte. Der eine Port ist für das VM Netzwerk der andere für vMotion und jeweils der andere als Failover eingerichtet und das funktioniert bisher ohne Probleme.

Wie viele Karten/Ports sind denn "viele 1Gbit Karten"?
Wenn du vorher in Summe auch nur 10 GBit oder weniger hattest, wird eine 10 GBit Verbindung auch reichen und hat den Vorteil, dass eine Session nicht mehr auf 1 Gbit beschränkt ist.

Du solltest ja bei den bisherigen Host nachsehen können wie die Netzwerkauslastung ist und dann erkennen können ob 10Gbit reichen oder nicht.

Edit: Ob vMotion und Management Netzwerk auf einer Karte gut sind kann ich allerdings nicht beurteilen, unser Management Netz liegt auf einer extra 1 Gbit Karte.

[irix]

Alle 10GbE Deployements hier verwenden 2x 10GbE fuer LAN/ESXi Traffic. Aber natuerlich Aktiv/Aktiv. Was soll der Unfug mit Activ/Standby?

DMZ ist auch separat. Guckt euch mal nPAR von Broadcom an.

Gruss
Joerg

[Gad]

das mit Aktiv Passiv hat sich so ergeben, keine Ahnung was die Orginal Intention war, evtl. hab ich damals aktiv/aktiv nicht ans laufen gebracht.

Also wäre die Verkabelung so ?
http://www.kendrickcoleman.com/images/s ... x10GbE.png
(hier der Artikel dazu http://www.kendrickcoleman.com/index.ph ... -more.html)
Wobei ich davon ausgehe das diese based on Physical Nic Load ein Feature der Enterprise Plus Version ist oder?

[irix]

Da fehlt der 2. vMotion VMK. Von denen hat jeder einen aktive und die andere als Standby und entsprechend andersherum fuer den anderen VMK.

Wie kann man 2x Aktiv nicht zum laufen bekommen? Das ist doch die Default Einstellung und funktioniert immer

Gruss
Joerg

[stahly]

OK. Also Akitv / Aktiv

Dann alles an einen vSwitch? Oder sollte in dem Zusammenhang der dvSwitch eingeführt werden?

Zur Zeit sind 11 x 1 Gb angeschlossen, was in der Summer locker reicht. Nur die Begrenzung auf 1 Gb stört doch immer öfters. Gerade bei vMotion. Vor allem, da die Server immer mehr Speicher haben...

[irix]

Ja ein vSwitch. Wenn ihr Enterprise+ habt dann ruhig planen den vDS einzusetzen. Hier wuerde ja die Option des Traffic Shapings und auch Ingress dazu kommen. Aber was das angeht mach ich mir mal Gedanken wenn sich der Traffic stoeren sollte.

Wir haben hier
- 52 VLANs
- 2x vMotion
- 1x FT
- ESXi MGMT wo auch das Backup fliesst

mit einem vDS und 2x10GbE Uplink.

Fuer eine Evakuierung von 45 VMs mit 128GB brauchts knappe 100Sek.

Gruss
Joerg

[stahly]

Ja ein vSwitch. Wenn ihr Enterprise+ habt ...

Wir haben hier
- 52 VLANs
- 2x vMotion
- 1x FT
- ESXi MGMT wo auch das Backup fliesst

mit einem vDS und 2x10GbE Uplink.

Fuer eine Evakuierung von 45 VMs mit 128GB brauchts knappe 100Sek.

Gruss
Joerg

Ja E+ ist vorhanden. Aber ich denke, wir bleiben erstmal bei vS.

Unser größter Host hat zur Zeit 58 VMs mit 480GB. Sollte aber alles im Rahmen liegen. Dieser ist einer der wenigen, der schon 10 G für vMotion hat und das geht verdammt fix Ohne 10 G wollte ich die Kiste nicht leeräumen...

Fazit:
Ehrlich gesagt war das meine Wunschvorstellung, alles auf einem vSwitsch mit Aktiv / Aktiv. War mir aber nicht sicher, ob das Best Practice ist oder ob es andere Empfehlungen gibt. (Oder, ob es gar nicht geht )

Aber so wie es aussieht, brauche ich mir keine Sorgen zu machen. Alles wird gut!

[UrsDerBär]

Aktiv/Aktiv funktioniert nur nicht, wenn der Switch die MAC-Adressen auf nem anderen Port bekommt als üblich und die Verbindung dann verweigert. ABER: Das Problem kommt dann garantiert ebenfalls wenn ein Nic ausgefallen ist. Bring insofern nix.
Deswegen habe ich mir bei der ersten Konfig mal fast die Haare ausgerissen...

Also bleibt nur Switch richtig konfigurieren übrig... Dann funktioniert auch Aktiv/Aktiv

[PeterDA]

@Joerg
sag mal fahrt ihr mit den vDS auch den iSCSI Verkehr drüber? Ich habe da noch was im Kopf, dass das mal nicht empfohlen oder nicht supported war.

Gruß Peter

[irix]

@Joerg
sag mal fahrt ihr mit den vDS auch den iSCSI Verkehr drüber? Ich habe da noch was im Kopf, dass das mal nicht empfohlen oder nicht supported war.

Gruß Peter

Ja in unserer Umgebung geht iSCSI auch ueber den vDS. Wir haben zuviele Hosts und zuwenig Switchports.

Die neuen Switche haben auf 1HE 48/64 10GbE Ports. Alle meine Kundenumgebungen sind aber 2 + 2 10GbE.

Gruss
Joerg

[vMario156]

Wenn E+ sowieso vorhanden ist, würde ich auf jeden Fall auf den vDS gehen.

Grade wenn der vMotion Traffic nicht über dedizierte vmnics läuft sollte man mit NIOC entsprechende Priorisierungen festlegen.
Und vernünftiges Load-Balancing ala "Route based on physical nic load" gibt es auch nur mittels vDS.

Gruß Mario

[PeterDA]

Wie gesagt ich bin der Meinung, dass irgendwo stand dass iSCSI Verkehr über vDS nicht empfohlen ist....

Gruß Peter

[irix]

Ist im VMware iSCSI Deployment Guide beschrieben das beide Switche verwendet werden koennen und es gibt kein Aber.

VMKs sind eh ein bisschen anders auf einem vDS als normale VM Network Portgruppe.

Gruss
Joerg

[wakesetter]

Zur Zeit sind 11 x 1 Gb angeschlossen, was in der Summer locker reicht. Nur die Begrenzung auf 1 Gb stört doch immer öfters.

Ich habe hierzu mal eine Verständnisfrage.

Wo liegt der Engpass bei 11 x 1 Gb gegenüber 1 x 10 Gb.

Danke.....

[bla!zilla]

Ethernetframes lassen sich nun mal nicht teilen. Deswegen gibt es die Teaming-Policies, welche den Verkehr sauber auf die einzelnen Uplinks verteilen. Daher kann eine VM auch nicht mehr als 1 GbE nutzen, wenn du nur 1 GbE Uplinks hast. Anderes Beispiel: vMotion. Selbst mit Multi-NIC vMotion wirst du nie mehr als 4 vMotions gleichzeitig von einem Host aus haben. Bei 10 GbE gehen 8 vMotions gleichzeitig. Je nach Ausstatung des Hosts und der Anzahl der VMs kann das beim Evakuieren eines Hosts durchaus von Gewicht sein.

[wakesetter]

Danke für die Info.
Wieder etwas gelernt.....

[blue_focus]

Zur Frage -> Sind 2x10GBit genug.

Ich denke mal der Flaschenhals wird in den meisten Fällen hier nicht mehr das Netzwerk (also der NIC)sein. Ich bin jetzt nicht ganz auf Stand wie es mit 4 oder 8 Socket rackmounted Maschinen aussieht. Aber erfahrungsgemäß bei Blades mit 2 Socket Ausstattung dürfte hier wohl alles auf den Bladeinterconnect oder den PCIe Bus warten.

Unsere BL460 bekommen kaum mehr als 6GBit insgesamt raus. Noch schlechter siehts aus wenn NIC und HBA gleichzeitig ackern müssen (zB. bei svMotion), dann knickt das gleich nochmal auf die Hälfte ein.

Bei den UCS Blades ists auch nicht viel anders, denn da wird ja intern SAN auf FCoE umgebaut über den 10G Interconnect übertragen und erst am Nexus-Switch wieder in natives FC rückgewandelt.

[irix]

Also mit 2x10GB blase ich 19Gbit/s Richtung iSCSI Storage raus. IOmeter zeigt 1920 MB/s.

VMware hat vMotion begrenzt und auch in normalen Umgebung erzeugen die VMs nicht soviel Traffic.

Gruss
Joerg

[stahly]

Habt ihr eigentlich eine Empfehlung für den 10Gb Ethernet Adapter? Oder anders herum gefragt, habt ihr schlechte Erfahrungen mit einem Hersteller gemacht? Gibt ja ne ganze Menge auf dem Markt: Emulex, Intel, Broadcom, Brocade, Mellanox, Qlogic.

[irix]

Gute Erfahrung mit Intel 520 DA2 und 540. Wir moechten eigentlich mal eine Infrastruktur mit den Broadcoms machen weil diese nPAR koennen.

Gruss
Joerg