VMs auf zwei ESXi4 Hosts im Cluster nicht erreichbar

[Kincaid]

Hallo,

ich habe folgendes seltsames Problem und tippe mal auf einen config-Fehler.
Ausgangslage:
* Ich habe zwei ESXi 4 Server installiert die im Cluster laufen.
* Zum Test habe ich einige Linux VMs erstellt und diese auf die beiden Hosts verteilt.
* Ich habe einen Standard dvSwitch eingerichtet mit 2 uplink Ports je für einen Host
* Die VMs hängen alle an dem gleichen dvSwitch (ohne VLAN) und im gleichen IP Range

Verhalten:
* VMs auf dem gleichen ESXi 4 Host können sich gegenseitig erreichen
* VMs auf unterschiedlichen Hosts haben keine IP Verbindung
* Wenn ich die Ethernet Interfaces direkt den VMs auf unterschiedlichen Hosts zuweise erreichen sich die beiden VMs
* Wenn ich die VMs auf den Hosts hin und herschiebe bleibt das Verhalten, auf dem gleichen Host erreichen sie sich, sonst nicht

Irgendein Tip wo ich nach Fehlern suchen kann oder was ein solches Verhalten verursachen könnte?

Danke [/img]

[PatrickW]

Moin,

wir haben ein ähnliches Verhalten mit ESX 4.0 U2 und dem Labmanager.

Sobald sich ein Lab nicht komplett auf einem ESX befindet, sind auch nur die VMs auf einen Host untereinander erreichbar.

Die Problematik scheint also beim dvSwitch zuliegen.

MfG Patrick

[Kincaid]

evtl. an der Kombination ESXi und dvSwitch. In einer anderen Umgebung haben wir ESX Server laufen und da funktioniert es problemlos.

[PatrickW]

Wir betreiben allerdings "richtige" ESX.

[Tschoergez]

Hi,

hört sich beidesmal nach Problemen entweder mit Private VLANs an (die kommen u.a. bei den Fenced NEtworks vom LabManager zum Einsatz).

Oder schaut mal nach, ob auf den vSwitchen genügend Ports frei sind.

Sind die Connected-Haken gesetzt bei den VMs nach der Migration?

Was für phys. Switche setzt Ihr ein?

Funktionierts mit Standard-vSwitches?

viele grüße,
jörg

[Kincaid]

- Private VLANs sind nicht konfiguriert
- Ports sind mehr als genug da
- Welche connected Haken meinst du? Wenn zwei VMs migriert wurden können diese sich untereinander wieder pingen.
- Cisco Switche 100/Full
- Mit den Standard vSwitchen funktionierts.

[Tschoergez]

hm, ok.
(die connected-haken in der Konfig der VM meinte ich. Wenn aber pingen auf dem gleichen ESX geht, sollten die ordnungsgemäß drin sein)

Dann musst Du durch die Konfig der Switches schauen: load-balancing, port blocking, notify-switches usw.

Hast Du manuell vergebene MAC-Adressen in den VMs? Wenn ja, schauen, dass die nicht doppelt sind.

Microsoft NLB im Einsatz? Wenn ja, dann die Security Settings auf dem vSwitch prüfen.

Sonst bleibt nur der Weg, via Wireshark, tcpdump oder ähnliches die PAkete mitzusniffen und schauen, "wo die hängenbleiben".

Wenn sonst nix auf dem ESX los ist, lässt sich evtl. auch an der Nutzungsstatistik in der Distributed-vSwitch-Übersicht was ablesen, ob die Pakete ins phys. Netz rausgehen.

Viele Grüße,
jörg

[Kincaid]

Ich hab keine Ahnung, was ich gemacht habe, auf jedenfall geht es jetzt. Ich versuche mal zu rekonstruieren:
- ESXi Hosts beide neu gestartet
- HA Config neu geladen
- eine NIC pro Host ins gleiche Subnetz gelegt wie die VMs auf dem dvSwitch (wir haben alles in der Teststellung auf einem Cisco abgebildet und ich musste das VM Motion vom normalen Inhouse Verkehr trennen.

Das war es eigentlich.

Seltsamerweisde kommt ein weiteres Problem hinzu, auf dem Cisco Port über den das Management läuft kommt es zu MAC Adressen Konflikten, neben der MAC des Interfaces melden sich auf dem Port noch zwei weitere MACs die ich nirgends finden kann. Passiert immer dann, wenn ein Host migriert, wobei VM Motion eigentlich über dieses LAN gar nicht läuft, also ein reiner Management Port.

[PatrickW]

Meine Netzwerkkonfig sieht wie folgt aus:

vmnic0 und vmnic1 liegen auf dem dvSwitch
vmnic2 ist ein direkter Link zwischen beiden ESX Server über den der VMotion Traffic abgehandelt wird. (kein dvSwitch)

Was das genau für phy Switches sind kann ich gerade nicht sagen, da ich keinen Zugang zum Serverraum habe.

Über vmnic0/1 läuft der Gesamte-VM-Traffic und auch die Storageanbidung über NFS.
Das Ganze wollen wir noch ändern lässt sich zur Zeit aber auf Grund mangelnder Switchports leider noch nicht umsetzen.

VLAN IDs konnte ich jetzt gerade nicht auf den Portgruppen erkennen und genug Ports sind auch noch frei.

Die Netzwerkverbindung funktioniert auch wunderbar solange ein Lab auf einem ESX liegt.

Neustarten kann ich gerade nicht, da gerade die Umgebung Produktiv genutzt wird.

[Kincaid]

Also das Problem scheint doch irgendwo bei den VLANs zu hängen. Ich habe jetzt eine Konfiguration ohne VLANs wo es einwandfrei funktioniert. Wenn ich jedoch die portGruppe des dvSwitches in ein VLAN hänge kommt wieder das alte Verhalten zu Tage, sprich die VMs auf unterschiedlichen Hosts sehen sich nicht.

Die Uplink Ports stehen auf VLAN Trunking 0-4094, was sich auch wenn überhaupt nur im ID Bereich ändern lässt.

Irgendeine Idee?

[Tschoergez]

Ja: die VLANs müssen natürlich auch alle an den phys. Switch-Ports weitergereicht werden. D.h. da musst Du auch VLAN-Trunks einrichten.

viele grüße,
jörg

[Kincaid]

aaaaaaahhhh, nu is der Groschen gefallen Danke