Link Aggregation (Etherchannel) zu zwei Switche

[Netviewer]

Hallo zusammen

Ich bin gerade an der Netzwerkplanung für unseren VSphere Cluster(HA,FT) bestehend aus 2 ESXi Servern (HP DL 380G7) später kommen noch 2 dazu. Die Server sollen mit unseren redundanten Cisco Catalyst WS-C6506 Core Switchen verbunden werden. Mir stehen je ESXi Server 6 NICs(1GB) für VMs zu Verfügung.

Für mich stellt sich nun die Frage wie ich die 6 NICs am besten mit dem Switch verbinden kann und ob dabei auch eine Redundante Anbindung möglich ist?

Da ich schon einige unserer physikalischen Server per Etherchannel angebunden habe, wäre meine Idee das auch für die ESXi Server zu tun(Route based on ip hash). Aber alle Dokumente darüber beschreiben eine Etherchannelverbindung von Host zu einem Switch. Ich möchte aber dass jeder ESXi Host mit beiden Switchen verbunden ist. Also 2 Etherchannels je Host. Meinetwegen auch Active/Standby.

Ist diese Konfiguration:
ESX1 3 Nics > Switch1
ESX1 3 Nics > Switch 2
ESX2 Nics > Switch 2
ESX1 Nics > Switch1
…mit Etherchannel nicht möglich?

Wir haben weder einen Nexus Switch noch kann ich einen Switch übergreifenden Etherchannel aufbauen.

Auch in der Knowledge Base wir nur die Verbindung mit einem Switch beschrieben:

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1004048


Wie würdet Ihr die jeweils 6 NICs am besten teamen?

[dioptri]

Ist diese Konfiguration:
ESX1 3 Nics > Switch1
ESX1 3 Nics > Switch 2
ESX2 Nics > Switch 2
ESX1 Nics > Switch1
…mit Etherchannel nicht möglich?

vertippt?

ansonsten würde ichs sagen, kommt es nur auf deine gäste an. der esx stellt ja nur die zwei vswitche bereit die auf zwei verschiedene physikalische netzwerkkarten gehen. deine gäste machen dann z.b. bonding über den linux kernel ( idealerweise mode active-backup...zwecks redundanz).

[PeterDA]

Kurze Frage:
wie stellst du dir das mit HA und FT bei 2 ESX Servern vor?

Wenn du HA und FT im EInsatz haben willst mach das wohl erst ab 3 ESX Servern Sinn.

Gruß Peter

[Netviewer]

...es müsste heissen:

ESX1 3 Nics > Switch1
ESX1 3 Nics > Switch 2

ESX2 3 Nics > Switch 2
ESX2 3 Nics > Switch1

ESXi Server Nr. 3 und Nr. 4 sind bereits bestellt!

@dioptri
Kann man nicht 2 Vswitche in jedem ESXi Host anlegen, wobei jeder Vswitch eine Etherchannel Verbindung(3Nics) zu den jeweiligen Cisco Switch aufbaut? So könnte ich in der VM doch auch eine redundante Vswitch/Pswitch realisiern oder?

[irix]

Ohne erstmal zuwissen was fuer Portgruppen fuer welchen Zweck benoetigt werden und in welcher Kombination sie auf den vSwitchen existieren ist es Sinnlos darueber zureden. Was das Thema Ausfallsicherheit im Netzwerkbereich angeht ist ein ESX(i) doch schon von Haus aus sehr gut aufgestellt.

Ich weis garnicht was du dir von deinen Ethernetchannels versprechen willst und je nach Kombination mit Failover pNICs in den vSwitchen/PGs ist das auch Kontraproduktiv bzw. der Fehlererkennung funktioniert nicht.

Gruss
Joerg

[kastlr]

Hallo,

also ich finde diese Anfrage und dein Design mehr als sinnvoll, schließlich ist das State of the art bei Systemen mit mehreren NIC's.

Der von dir gepostete Link enthält doch schon alle Infos, auch wenn er die Konfiguration für nur einen Switche enthält.
Was hindert dich denn daran, deine pNIC's gemäß deines Designs auf zwei pSwitche zu verbinden und anschließend für die dafür erforderlichen zwei vSwitche die Konfiguration wie beschrieben vorzunehmen?
Natürlich mußt du dann auch auf beiden pSwitchen die PortChannels einrichten, aber das ist ja nun wirklich kein Hexenwerk mehr.

Und die Vorteile von EtherChannel liegen doch klar auf der Hand,

dynamisches, gleichmäßiges Loadbalancing über alle Links für ein- und ausgehenden Traffic
Ausfallsicherheit (Link redundancy)

Allerdings gibt es ein paar Punkte in deiner Beschreibung, die das ganze Design in Frage stellen.
Wenn deine EtherChannel nicht Switchübergreifend sind, hast du bei Ausfall eines pSwitches auch deinen vSwitch und alle darauf eingerichteten Portgruppen verloren.
Damit verlieren alle VM's, die dieses Konstrukt verwenden, gleichzeitig die Verbindung zur Außenwelt.
Und dann greift bei 3 NIC's auch der LoadBalancing Mechanismus nur bedingt, 4 NIC's wären eindeutig die bessere Wahl.

Gruß
Ralf

[Netviewer]

Zitat kastlr:

"Wenn deine EtherChannel nicht Switchübergreifend sind, hast du bei Ausfall eines pSwitches auch deinen vSwitch und alle darauf eingerichteten Portgruppen verloren.
Damit verlieren alle VM's, die dieses Konstrukt verwenden, gleichzeitig die Verbindung zur Außenwelt"

> ja und genau dass ist der Punkt. Ich müsste die VM bzw. entsprechenden Portgruppe so konfigurieren dass sie dann redundant(z.B. active/Standby) an die beiden Vswitche angebunden ist. Also so etwas wie ein FT Teaming bei physikalischen Servern.

Weitere NICs für den Etherchannel sind kein Problem!

[kastlr]

Hallo,

nach dem ich noch mal über deine Anforderungen nachgedacht habe, gibt es meiner Meinung nach eine Möglichkeit, die Umgebung unter Verwendung von zwei EtherChannels zu konfigurieren.

ESX1+2
Cisco 1 < 3 pNIC's > vSwitch1 > PortGroup 1
Cisco 2 < 3 pNIC's > vSwitch2 > PortGroup 2
                                      vSwitch3 > Portgroups 3 - x

Nun mußt du "nur" noch mehrere VM's als Router/Firewall zwischen den Portgruppen einsetzen.

Router VM
vNIC1 > PortGroup 1
vNIC2 > PortGroup 3 -x

Router VM
vNIC1 > PortGroup 2
vNIC2 > PortGroup 3-x

Ob das allerdings wirklich sinnvoll ist und sich rechnet, hängt natürlich von den generellen Anforderungen ab.
Sollte technisch aber lösbar sein, obwohl ich gespannt auf euer Kommentare warte.

Gruß
Ralf

[kastlr]

Kommando zurück.

laut VMware Knowledge Base mußt du dir die notwendigen Lizenzen für Stacking bei Cisco beschaffen, wenn du mit mehreren pyhsikalsichen Switchen arbeiten möchtest.

ESX host requirements for link aggregation

Bin mir zwar sicher, das mein Ansatz funktioniert, aber wenn du die Umgebung produktiv betreibst, kannst du es dir nicht leisten, ein unsupported environment zu betreiben.

Gruß
Ralf

[vfrank]

Hallo,

ich würde folgende Konfigs vorschlagen:

Variante1:

ESX1: 3 pNIC --> Portgroup1 --> CISCO1 (vSwich0 auf aktive setzen)
3 pNIC --> Portgroup1 --> CISCO2 (vSwitch0 auf standby setzen)
das gleiche für den zweiten ESX Server; jedeoch ist hier der CISCO2 ggf. der aktive

Variante2:

beide CISCO Switche sind über ein Stack verbunden:

von einem Etherchannel aus betrachtet, können die Ports auf die beiden CISCO Swiche verteilt werden.

Vorteil: Die jeweiligen pNICs können dann alle aktiv geschaltet werden.

-------------
für beide Varianten:

vSwitch Portgroups auf IP Lastverteilung stellen. Bitte beachte, dass einige CISCO switche auf "loadbalance based on MAC hash" stehen. Das dann auch auf IP Hash umstellen.

Gruß Frank

[kastlr]

Hallo,

nachdem ich mich noch einmal mit der Angelegenheit beschäftigt habe,glaube ich, das der notwendige Aufwand in keinerlei Verhältnis zum Ertrag steht.
Zwar sind PortChannels eine feine Sache, aber VMware unterstützt sie nicht wirklich.

Selbst wenn du Switchseitig z.B. 4Ports zu einem Channel schaltest, wird der ESX Server je Target MAC/IP Adresse immer nur eine pNIC verwenden.
Wenn man nun z. B. ein NFS Target über einen Port Channel anschließen möchte, wird VMware die Last nicht über die pNICS verteilen können, da der ESX Server seine NIC's nicht als Channel nutzen kann.
Also bleibt dem vmkernel gar nichts anderes übrig, alle IP Packete zu einem Ziel über eine pNIC nach draußen zu geben.
Erst wenn die pNICS teaming unterstützen, macht ein Port Channel Sinn.
Eventuell kann man das mit dem Cisco vNexus Switch realisieren, aber die Kosten dafür dürften nicht unerheblich sein.

Gruß & schönes langes WE
Ralf

[vfrank]

Ja,

das mit der Lastverteilung ist richtig.
Es wird basierend auf IP Adressen ein Hash gebildet und dann die dazu passende pNIC ausgewählt.
Wenn das Hash Ergebnis identisch ist, dann wird die gleiche NIC zugeteilt.

Jedoch kannst Du den NFS Server über weitere IP Adressen verfügbar machen. Damit werden die Verbindungen über mehrere pNICs genutzt.

Gruß Frank

[kastlr]

Hallo Frank,

das ist richtig, hat aber dann gar nichts mehr mit EtherChannels zu tun.
Solange VMware das Teaming von pNIC's nicht unterstützt, machen EtherChannels keinen Sinn!

Um ein Problem mit der verfügbaren Bandbreite zu vermeiden, bleiben einem aktuell nur folgende Lösungsansätze.

- Einsatz eines dicken Rohres mit 10GB Ethernet
- mehrere IP Adressen für iSCSI und NFS Datastores

Nur damit ist gewährleistet, das die Anbindung nicht durch eine einzelne pNIC limitiert ist.

Gruß
Ralf