[solved] Netzwerkprobleme vSwitch/DHCP

[CK-111]

Hallo liebes Forum,

leider habe ich seit Kurzem ein ziemliches Problem mit meinem ESX Server im Bereich Netzwerk.

Ausgangssituation:
- 1 ESX-Server (esx01)
- Installation auf USB-Stick
- ESX Custom Image (Treiber für SAS / Zusätzliche NICs)
- 2 Physikalische Netzwerkkarten, verbunden mit 2 virtuellen Switchen
--- vmnic0: verbunden mit vSwitch1 (Name: green) / Anbindung an mein lokales Intranet
--- vmnic1: verbunden mit vSwitch2 (Name: red) / Anbindung an ein Kabelmodem von Kabel-Deutschland
- 1 virtuelle Maschine: vm01 als Router
--- Betriebssystem: Endian CE 3.0 (UTM Appliance)
--- 2 virtuelle Netzwerkkarten
----- eth0: e1000 an green
----- eth1: e1000 an red
- keine VLANs

Diese Konstellation lief bei mir längere Zeit ohne Probleme, sowohl unter ESX 5.0 als auch ESX 5.5 fungierte vm01 als Router sowohl für virtuelle Maschinen, als auch für Physikalische Rechner im LAN.

Nun habe ich vor einigen Wochen einen neuen ESX Server (esx02) aufgesetzt. Dabei bin ich wie folgt vorgegangen:
- kopieren der vm01 auf den neuen Host
- Identische Konfiguration des Netzwerkes wie auf esx01
- Start von esx02 mit dem USB-Stick von esx01

Jetzt komme ich zu meinem Problem:
Ich bekomme über eth1 keine gültige IP vom Modem via DHCP mehr zugewiesen. Der Zugriff über eth0, also mein LAN ist jederzeit möglich. Bei einigen Tests hatte ich kurzzeitig eine Verbindung, Diese Riss aber spätestens nach ein paar Stunden wieder ab und lies sich dann auch nicht mehr wieder verbinden.

Was ich daraufhin probiert habe:
1.) eth1 an den vSwich green gehangen: Die VM erhält binnen Sekunden von meinem DHCP eine gültige Adresse.
2.) Den Typ der virtuellen Netzwerkkarten von e1000 auf VMNET3 geändert: Keine Verbindung
3.) Die Netzwerkkarte aus esx02 in esx01 verbaut: Verbindung klappt sofort. Öffentliche IP per DHCP
4.) Die Netzwerkkarte aus esx01 in esx02 verbaut: Keine Verbindung
5.) Kabel vmnic1 <-> Modem getauscht: Keine Verbindung
6.) Alle virtuellen Switche und Netzwerkkarten auf esx02 gelöscht, neu erstellt und der VM mit neuen MAC Adressen zugewiesen: Keine Verbindung
7.) Neue VM mit anderer Software (Monowall) aufgesetzt, gleiche Netzwerk- Konfiguration mit 2 vNICs (green/red): Keine Verbindung
8.) ESX 5.5 komplett neu installiert, die virtuellen Switche neu erstellt und eine neue VM mit Endian aufgesetzt: Keine Verbindung
9.) Tausch von vmnic0 und vmnic1 am vSwich2 + umpatchen der Kabel : Keine Verbindung

Was ich bis jetzt durch Googlen an ungesichertem Wissen in Erfahrung bringen konnte:
Das Modem :
Es vergibt die IP-Leases anscheinend über eine recht schmale ARP Tabelle, mehr als 5 oder 6 MACs erwartet das Gerät nicht zu finden, denn eigentlich steckt ja nur ein Kabel im Port, dass direkt in den Router geht.
Pro gefundener MAC wird dann eine IP vergeben, bis das Vertrags- Kontingent erschöpft ist. In meinem Fall ist das nach der ersten IP der Fall.
Das hatte sich in einem Fall so dargestellt hat, dass ein User, der lt. Vertrag 4 öffentliche IPs hatte, nur 3 benutzen konnte, was ihm aber egal war und er schlussendlich seine Suche eingestellt hatte.

Daraus mehr These:
Aus irgendeinem Grund verhalten sich vmnic1/vSwich2 im esx02 anders als im esx01. Es scheint so zu sein, als dass vmnic1 aktiv gegenüber dem Modem in Erscheinung tritt und das Modem sich daher veranlasst sieht, die DHCP Zuordnung an diese MAC zu binden.
Was dafür spricht:
- In der "observed IP Ranges" von vmnic1 sehe ich, dass eine Kommunikation stattfindet. Der Eintrag lautet (beispielhaft): 81.123.123.7 - 81.123.123.7, was auf den ersten Blick nach einer IP aus dem KD Adressbereich aussieht (ich bekomme immer sehr ähnliche IPs, wenn ich denn mal eine Neue bekomme)
- DHCP funktioniert an dem vSwich. Ich habe auch einmal einfach das Kabel von vmnic1 in den Swich vom LAN gesteckt, mit dem gleichen Ergebnis wie bei Punkt 1. meiner Tests (s.o.)

Was dagegen Spricht:
- auf dem esx01 lief es wunderbar.
- Wenn ich meinen DHCP im LAN bemühe, sehe ich keine "Geister-Leases" der vmnic1.
- Ich habe am vSwich2 den "promiscuous mode" Aktiviert (afak wandelt diese Einstellung ja die Arbeitsweise eines vSwichts ja in die eines HUBs/Repeaters) und dann die MAC von eth1 mit der von vmnet1 überschrieben, in der Hoffnung, dass ich die Verbindung dann über Broadcast realisieren kann. Leider ohne Erfolg.


Hardware:
esx01:
Marke Eigenbau
CPU: 1x AMD FX-6300 auf MSI Consumer Borad
RAM: 16 GB
Storage: HP SA P410 mit ca 3 TB Netto
Netzwerk:
--- vmnic0: Realtec 8139
--- vmnic1: Realtec 8139

esx02:
HP Microserver N40L
CPU: 1x AMD N40L
RAM: 16 GB
Storage: HP SA P410 mit ca 3 TB Netto
Netzwerk:
--- vmnic0: Broadcom
--- vmnic1: Realtec 8139

Ich bin mit meinem Latein am Ende und daher für jeden Tipp dankbar.

[Dayworker]

Wenn du den ESXi5.5 neu aufsetzt, fehlen diesem die Treiber für die Realtek-Dingens. Nur wenn du von ESXi5.0 bzw 5.1 upgradest und dabei die richtige Entscheidung triffst, bleiben die im ESXi5.5 wieder rausgeworfenen Treiber erhalten.

[CK-111]

Hallo Dayworker,

danke für die Antwort.
Den Treiber habe ich wie gesagt eingebunden. Daher auch das custom Image. Das Problem stellt sich wie beschrieben auch da, wenn ich die nics vertausche, also den Realtec am vSwich green benutze und den Broadcom an red

Verbindung auf das Web-Gui geht (green), aber immernoch nicht WAN (red).

[Dayworker]

Hattest du den ESXi-Stick richtig neu erstellt oder ein Image vom Erst-ESXi zurückgespielt?

[CK-111]

Zu deiner Antwort: Ich habe einen 2. USB-Stick genommen, mein Image bootfähig auf den stick kopiert, den esx runtergefahren, alten Stick abgezogen, neuen Stick ran gesteckt und dann auf dem Installationsmedium drüber-installiert.

Ich bin jetzt auch schon etwas weiter:
Also mit irgendwelchen IP-Leases scheint es erstmal nicht direkt zusammenzuhängen.
Ich habe das Modem nämlich eben einfach mal an den Switch meines LANs gepackt und meinen DHCP deaktiviert.
Den erstbesten Rechner habe ich dann eine neue IP hohlen lassen und voilà, eine öffentliche.
Ich habe dann folgendes gemacht:
- Kabel vom vmnic1 mit an den Swich
- Mit einer WIN 2012 VM (Ich wollte mal von den UTM Blackboxen weg) verschiedene Netzwerkkartentypen in beiden Netzen probiert.

Ergebnis:
- über vmnic0 habe ich von etwa 10 Versuchen 2 Mal eine öffentliche IP bekommen
- über vmnic1 0 Mal bei etwa 10 Versuchen.

[irix]

Was genau hast du kopiert? Haben deine ESXi Hosts evtl. gleiche virtuelle MACs nun?

Gruss
Joerg

[CK-111]

Hallo Jörg,

ich habe es mir am Anfang einfach gemacht:
Die vm kopiert und den Stick vom esx1 für den esx2 benutzt und dann sukzessiv das Netzwerk neu aufgesetzt bis hin zum kompletten neu aufspielen eines esx Images auf einen 2. Stick.

Die Nics habe ich aus dem Grund alle schon gelöscht, und sogar die virtuellen Maschinen komplett neu auf dem neuen Host erstellt, damit ich das ausschließen kann.

Der Erste esx ist inzwischen auch im IT Himmel, von daher kann es dort auch zu keinen Kollisionen mehr kommen.

Am Mo habe ich auch alle Datastores noch ein Mal gelöscht und komplett bei 0 aufgesetzt, nicht dass irgendwelche configs vom esx dort ggf. abgelegt worden sind - aber auch ohne Ergebnis.

[~thc]

Hast du mal das Kabelmodem zurückgesetzt?

[CK-111]

Hallo ~thc,

ich habe es immer mal wieder für 2 min ausgeschaltet, wenn nicht ein mal mehr mein D-Link Router darüber eine Verbindung aufbauen wollte. Den habe ich immer mal zwischendurch angehängt um sicherzustellen, dass sich das Modem nicht überschlagen hat.

[CK-111]

So, ich denke, ich konnte da Problem finden:

Entgegen meiner ersten Aussage habe ich keine Realtec 8139 bzw. 8169 sondern eine 8111.

Weiteres Googlen nach einer optmaleren .VIb brachte mich dann auf folgenden Link:
http://www.tinkertry.com/install-esxi-5 ... -8168-nic/

und schliesslich hierher:
https://communities.vmware.com/thread/4 ... 0&tstart=0

The situation is like this.
If using DHCP or manual IP address with GW IP address, the NIC will fail in about 1 minutes. After reboot, it will work in a short time and fail in about 1 minute.

Ich werde heute abend noch etwas weiterbasteln. Angeblich verschwindet der ganze Spuk, wenn man keinen Gateway definiert.
Plan B wird sein, dass ich mir morgen einen VLAN fähigen Switch hohle und dann, ähnlich wie in dem aufbau hier: http://vmware-forum.de/viewtopic.php?t=29027 vorgehe.

[irix]

Kauf doch einfach eine supportete Intel/Broadcom und hoer mit dem frickeln auf.

Gruss
Joerg

[CK-111]

Ja, irgendwie ist dein Argument nicht von der Hand zu weisen.

Hab mir gerade Eine bestellt...

[CK-111]

So, noch mal Feedback von mir:
Das Problem hat sich mit einer neuen Netzwerkkarte komplett erledigt. Es läuft nun alles wie gewollt.

Danke fürs zuhören