ESXi ändert VMK0 "Management Network" MAC Adresse.

[straight_way]

Nabend Gemeinde,

ich war grad dabei das Management Network auf 3 ESXi 4.1 umzustellen, und musste leider zurück rudern,
da der ESXi "selbstständig" die MAC Adresse des vmKernels "vmk0" alias "Management Network" ändert....

Anscheinend wird die MAC Adresse immer von einem der am vSwitch aktiven Adapter übernommen und für das vmk0 mit verwendet...

Was hattte ich genau vor...

Ausgangssituation:
"Management Network" (VLANxxx) -> vSwitch0 -> vmnic0, vmnic1 (beide Aktiv)

Ziel-Konfiguration:
"Management Network" (VLANxxx) -> vSwitch0 -> vmnic5, vmnic6 (beide Aktiv, einer Aktiv, erstmal egal)

In dem Zusammhang sei noch erwähnt, dass auf den Switchen auf denen die pNic vmnic5 und vmnic6 angeschlossen sind, eine dynamische VLAN Zuordnung über die MAC Adresse vorgenommen wird.
Man hinterlegt auf dem Switch eine "MAC-VLAN" Kombination und sobald der Switch die MAC Adresse auf einem Port sieht wird für diese MAC getagged.
Das das so funktioniert (und wirklich gut funktioniert!) ist soweit getestet, es gehen bereits reichlich Portgruppen (getagged) über diese Interfaces.

Das eigentliche Problem das ich erlebe ist, dass sobald ich die pnics vmnic5 und/oder vmnic6 zu den aktiven Adaptern auf vSwitch0 und somit für das
"Management Network" hinzufüge ändert der ESXi die MAC Adresse des vmKernel (vmk0) und damit ist die "MAC-VLAN" Zuordnung auf dem Switch im Eimer...
(Ich komm z.Zt. nicht an meinen Netzwerker ran, deshalb lässt sich grad kein neues Profil anlegen...)
Ergebnis: ESXi Management Interface nicht erreichbar....

Behalte ich hingegegen vmnic5 und vmnic6 als StandBy-Adapter und gleichzeitig vmnic0 oder vmnic1 als Aktiv in der Konfiguration bleibt die MAC Adresse erhalten...

Hat jemand einen Workaround parat wie man den ESXi daran hindern kann beim Wechsel der
physichen Uplinks für das Management Network immer die MAC eines der aktive Adapter zu verwenden???

Grüße ins Forum und ein schönes Wochenende!!

[mbreidenbach]

Anscheinend wird die MAC Adresse immer von einem der am vSwitch aktiven Adapter übernommen und für das vmk0 mit verwendet...

Das hätte ich jetzt so erwartet.

[bla!zilla]

Works as designed. Die pNICs tauchen mit ihrer Mac-Adresse normalerweise gar nicht am Switch auf. Sie verhalten sich da wie ein echter Switch-Uplink. Das VMKernel Interface ist aber eine NIC des VMKernels und hat natürlich eine Mac-Adresse in der Kommunikation nach Außen. Und diese entspricht den pNICs des verwendeten vSwitches. Wobei die konkrete pNIC über die Teamn Policy festgelegt wird. Wenn du da nichts geändert hast, dann wird die pNIC beim Start des VMKernels gewählt und danach nur im Failover-Fall.

Meine Empfehlung: Statische VLAN Zuordnung durch setzen des passenden VLAN Tags durch den VMKernel Port bzw. die VM Port Group. VLAN Trunk auf den entsprechenden Switchports. Switch Port Security hat ebenfalls nichts auf den Ports zu suchen.

[straight_way]

Vielen Dank für ersten Antworten.

Works as designed....
... Switch Port Security hat ebenfalls nichts auf den Ports zu suchen.

@blazilla: Danke für den Hinweis, aber sollten meine Netzwerker auf den Trichter kommen und im RZ und da am Besten noch auf den SwitchPorts der ESXe Port Security zu aktivieren...
... dann ...

Nein im Ernst: Port Security hat mit der Geschichte grad nichts zu tun.

Ich versuch mal das Konstrukt ein wenig weiter zu beschreiben:
Die verwendeten pNics auf den ESXen sind "partitionierte" 10Gbit Adapter (Brocade 1860)
-> auf der Hardware der Netzwerkkarten werden dem OS (ESXi) pro physikalischem Port insgesamt 4 pNics gezeigt.
(Das Ziel: 2 x 10 Gig und keine weiteren Kupferports, dabei aber noch die Möglichkeit zu haben den traffc zu separieren. ist quasi fast erreicht. )

Die Switche an denen die Ports angeschlossen sind lesen aus dem vCenter die Konfigurationen der Portgruppen aus
und erstellen mit diesen Informationen ein Port Profil in dem festgehalten wird welche MAC (VMs / VMkernel-Ports) in welches VLAN gehört.

Für alle MAC Adressen (vmKernel_vMotion, vmKernel_NFS, VMs in den unterschiedlichen getagten Portgruppen) funktioniert das ganze Einwandfrei.
Der Charme den das Ganze hat ist der, dass wenn eine neue VM z.B. über VLAN_XYZ kommunizieren möchte nicht jeder einzelne Port
am Switch konfiguriert werden muss, sondern der Switch selbst die Konfiguration für entsprechende MAC Adresse erstellt.

Der Witz an der Sache ist dass ich insgesamt 6 ESXi mit ihrem Management Interface auf die 10Gig Adapter bringen will/muss.
Bei 3 Maschinen hat das insofern geklappt, als das der ESXi die ursprüngliche MAC Adresse für den VMKernel_Management beibehalten hat, obwohl die entsprechende pNic nicht mehr am vSwitch hängt.
Daher auch meine Verwirrung dass bei den 3 weiteren Maschínen die MAC Adresse geändert wurde.

Ich hab auch kein Problem die physischen MAC Adressen der Brocade Adapter zu verwenden,
darauf wird es sinnvoller Weise wohl auch hinauslaufen, ne doppelte MAC Adresse mach ja schließlich auch keinen
Spass wenn einer den Kupfer Adapter an anderer Stelle nochmal wiederbenutzt...

Vor dieser Umstellung habe ich auch nie einen Gedanken an die MAC-Adressen der VMKernels verschwendet,
und wäre so auch wohl nie auf die Idee gekommen dass sich der vmK0 immer die MAC Adresse einer pNic holt.
Ich wäre eher davon ausgegangen dass auch hier eine generierte MAC zum Einsatz kommt.

Also wieder was gelernt.