Gelöst: Enorme Netzwerkprobleme bei VMs

[donulfo]

Hallo zusammen,

wir haben seit einiger Zeit extreme Netzwerkprobleme in unseren VMs. Physikalische Server sind nicht davon betroffen.

Zuerst mal zu unserer Konstellation:
Vcenter Server 4.1
ESXi 4.1
ESXi 4.0
ESX4.0

In unregelmäßigen Abständen bekommen wir auf verschiedenen Servern, die auf den ESX Servern liegen keine Ping Antworten mehr.
Heute ist die VM XY auf dem ESX4.0 betroffen. Nach ändern des Netzwerkadapter auf z.b. vmxnet2 treten dann diese Probleme auf diesem Server nicht mehr auf. Dafür ist dann eine VM von einem anderen ESX Server betroffen.

Wenn ich die VM von einer anderen VM desselben ESX Servers pinge, so kommen alle Pings durch! Das deutet ja eigentlich auf ein generelles Netzwerkproblem hin! Aber da nur VMs davon betroffen sind, und keine physikalischen Server kann ich daran nicht so recht glauben!

Hat jemand eine Idee woran das liegen kann?

Als zusätzlichen Hinweis hätte ich noch anzugeben, dass wir auf den ESX Servern den ganzen Traffic über einen Vswitch laufen lassen. Also Management Network und der normale Netzwerktraffic. Daran sind jeweils mindestens 4x 1GB Nics gepatched.

MfG
Sebastian

[Tschoergez]

Hi!
hört sich nach problemen mit der load-balancing-strategie, nic-teaming, oder doppelten MAC-Adressen an....

Wie sind denn die Einstellungen vom vSwitch, den portgruppen usw.?
Nutzt Ihr VLANs?

wurden die VMs alle neu erstellt oder geklont/kopiert?

viele grüße,
jörg

[donulfo]

Hi Tschoergez,

danke für deine Antwort.

Wir nutzen keine VLANs.

Die VMs die hauptsächlich Probleme machen, wurden innerhalb des letzten Jahres erstellt. Die Bei den älteren geclonten treten die Problem i.d.Regel nicht auf.

Bzgl. Load Balancing haben wir noch nie was eingerichtet.

Ich stelle hänge hier mal ein paar screenshots unserer Einstellungen mit an...

Zuerst der ESX4.0.0 294855



Und jetzt der ESXi 4.1.0 320137



Reicht das aus, oder bräuchtest du noch weitere Informationen?

Viele Grüße,
Sebastian

[Tschoergez]

vSwitch-Konfiguration sieht soweit gut aus!

Kannst Du bitte bei den betroffenen VMs die MAC-Adresse prüfen?

[donulfo]

Hi,

momentan sind 2 VMs betroffen, bei denen habe ich die MAC überprüft:
Sie unterscheiden sich in den letzten beiden HEX Werten. Also sind sie unterschiedlich.

Woran könnte das Problem denn sonst noch liegen ?

Grüße,
Sebastian

[irix]

Hi,

momentan sind 2 VMs betroffen, bei denen habe ich die MAC überprüft:
Sie unterscheiden sich in den letzten beiden HEX Werten. Also sind sie unterschiedlich.

Ist in der Quell VM evtl. in den Netzwerkkartentreibern die MAC eingetragen und wurde so mit evtl. dupliziert? Das macht man ab und an wenn man lizenzierte Software drauf betreibt und die sich damit ueberlisten laesst.

Gruss
Joerg

[donulfo]

Nein, leider auch nicht.

das Problem tritt auch bei verschiedenen LAN Adaptern, von E1000 biszu VMXNET3 auf...

[donulfo]

Bei einer der betroffenen VMs habe ich jetzt mal die MAC Adresse auf einen zufälligen Wert gesetzt!

Und siehe da, diese VM ist wieder erreichbar! Also ist eure Vermutung mit den MAC Adressen wohl gar nicht so falsch!

[irix]

Frage:
Da ihr vCenter und mehre ESX(i) Hosts habt. Ist DRS aktiv bzw. tritt das Problem nach einem vMotion auf?

Weil dann liegt das Problem an den phy. Switchen welche ihrem ARP Cache vertrauen und nicht mitbekommen wenn die VM umzieht.

Gruss
Joerg

[donulfo]

Hi,

dank eurer Tipps mit den doppelten MAC Adressen haben wir die Lösung gefunden!

Und zwar hat die Entwicklung auch noch drei ESXi Server, welche durch einen Vcenter verwaltet werden!

Diese VMs hatten denselben MAC Adressbereich wie unsere der IT (zumindest beim E1000).

00-50-56-95-00-00

Jetzt habe ich den Vcenter der Entwicklung neu aufgesetzt, und alle ihre neuen VMs haben jetzt mit E1000 Adapter folgenden MAC-Bereich: 00-50-56-89-00-00

Jetzt würde ich gerne all ihre VMs auf den neuen Bereich umstellen. Die Frage, die ich mir aber stelle, was ist wenn ein Snapshot geladen wird? Ist dann die alte Mac wieder drin?

Schonmal vielen Dank für Eure Antworten!!!

Grüße,
Sebastian

[Tschoergez]

ausprobieren, Netzwerk disconnecten, um Fehler vorzubeugen, hier berichten!

viele grüße,
jörg

[donulfo]

Hi,

wir haben das Problem nun gefunden.
Und zwar hatten wir bei keine spezifischen IDs bei den Vcentern eingestellt!

Dadurch hat der Vcenter der einen Abteilung dieselben MACs zugeteilt.

Lösung brachte dieser Artikel:
http://xtravirt.com/vcenter-mac-address ... 0conflicts

Aber wenn man einen Snapshot nun wiederherstellt, ist wieder die alte MAC drin, was natürlich einiges an Gefahrenpotential bietet. Dadurch werde ich nun die nächsten Tage mal, manuell alten MAC Adressen erneuern, und ggf. die Snapshots aktualisieren.

MfG und nochmal danke für eure Hilfe!

Grüße,
Sebastian

[Dayworker]

Aber wenn man einen Snapshot nun wiederherstellt, ist wieder die alte MAC drin, was natürlich einiges an Gefahrenpotential bietet. Dadurch werde ich nun die nächsten Tage mal, manuell alten MAC Adressen erneuern, und ggf. die Snapshots aktualisieren.

Warum habt ihr Snapshots im Dauereinsatz ???
Sie sind kein Backup sondern lediglich ein Mittel um überhaupt Backups machen zu können, da VMware ein "Lock" auf die jeweilige VMDK setzt.

[Tschoergez]

Hi,
yepp, wenn die vCenter-ID gleich ist, gibts gerne auch gleiche MAC-Adressen.
Allerdings hattest Du nichts von mehreren vCentern geschrieben....

Beim Snapshot wird die Konfiguration der VM (inkl. MAC-Adresse, wie Du bestätigt hast, DANKE!) mit "konserviert".

Und ich schließ mich Dayworker's Warnung an:
Bist Du sicher, dass Du weißt, wie Snapshots funktionieren, und für was man sie einsetzt?
Snapshots SIND KEIN Backup!
Und v.a. bei produktiven Servern sollten sie nur bewusst und für kurze Zeit eingesetzt werden (z.B. Patches, Updates, oder eben um eine Backup zu machen)...
siehe auch:
http://vmware-forum.de/viewtopic.php?t=22039

Viele Grüße,
jörg