Vmware Webclient login: Verbindung zum ESXI Host ist abgelaufen

[mcdaniels]

Guten Morgen,

wir hatten gestern einen internen Security-Netzwerk-Scan (ich weiß allerdings nicht ob es ggf. damit zusammen hängt, es passt nur zeitlich recht gut zusammen, da wir dieses Problem bislang noch nie hatten.)

Grundlegend verwenden wir auf einem Poweredge T640 mit DAS (interne Festplatten) VMWARE 6.5.0 Update 2 Patch 75 (build-10884925) Kernel 6.5.0

Zuerst ist mir aufgefallen, dass die nächtlichen Veeam Backups fehlgeschlagen sind, da Veeam sich nicht mit dem betroffenen ESXI Host verbinden kann.
Folgend habe ich nun festgestellt, dass ich mich nicht mehr via Webclient / oder VCenter-Server mit diesem Host verbinden kann. Der Webclient läuft in eine Timeout (Fehler im Betreff).

Letztlich bin ich nun via IDRAC auf dem Host. IDRAC meldet mir keine Hardwarefehler. Ich konnte mich via virtual console auf dem ESXI Host einloggen und habe einen Managementnetzwerkneustart angestoßen, was allerdings nichts gebracht hat.

Im Zuge der Navigation durch die ESXI Menüs fällt auf, dass es immer wieder zu massiven Verzögerungen kommt bzw. das Menü jetzt keine Eingaben mehr entgegen nimmt. Sprich, ich wollte zb SSH / die Shell aktivieren. Danach sehe ich nur noch das Menü (siehe Anhang/Grafik) und kann keine Eingaben mehr tätigen.

Die VMs laufen alle noch ohne Probleme, ich kann aber nun weder ein Backup durchführen, noch mich auf dem ESXI Host einloggen. Ich werde es nun direkt vor dem Host (mit einer physischen Tastatur) probieren.

Hat jemand eine Ahnung, was das sein könnte. Logs kann ich momentan keine zur Verfügung stellen.

Danke!

[~thc]

Grundlegend verwenden wir auf einem Poweredge T640 mit DAS (interne Festplatten) VMWARE 6.5.0 Update 2 Patch 75 (build-10884925) Kernel 6.5.0

Das ist die Version ESXi650-201811002 vom 29.11.2018!
Gibt es einen triftigen Grund, auf einem produktiven Server über drei Jahre keine Sicherheitsupdates zu installieren?

Sollte der Security-Scan ESXI-spezifische Schwachstellen abgeklopft haben, kann der Netzwerk-Stack des Management-Interfaces darunter durchaus gelitten haben. Das würde dann ein Neustart beheben - aber besser vorher den ESXi aktualisieren.

[mcdaniels]

Grundlegend verwenden wir auf einem Poweredge T640 mit DAS (interne Festplatten) VMWARE 6.5.0 Update 2 Patch 75 (build-10884925) Kernel 6.5.0

Das ist die Version ESXi650-201811002 vom 29.11.2018!
Gibt es einen triftigen Grund, auf einem produktiven Server über drei Jahre keine Sicherheitsupdates zu installieren?

Sollte der Security-Scan ESXI-spezifische Schwachstellen abgeklopft haben, kann der Netzwerk-Stack des Management-Interfaces darunter durchaus gelitten haben. Das würde dann ein Neustart beheben - aber besser vorher den ESXi aktualisieren.

Servus,
grundlegend ist es so, dass ESXI spezifisch an sich nichts angegriffen wird, so lange alles stabil läuft. (Über den Ansatz lässt sich definitiv streiten).

Ich war gerade beim Server vor Ort. Er reagiert auch wenn ich direkt via USB Keyboard versuche, durch die Menüs zu navigieren nicht. Er "hängt" beim Fenster fest, das ich im ersten Post eingefügt habe.

Nachdem ich nun auf den Host überhaupt keinen Zugriff mehr habe, kann ich an sich nur die VMs alle manuell herunterfahren und muss den ESXI Host abwürgen (=Power am Server für X Sekunden halten, damit er sich abschaltet). Andere Option gibt es in dem Fall nicht, oder?

Btw. gibt es eigentlich noch aktuelle -DELL spezifische- VMWARE Images?

[~thc]

Nachdem ich nun auf den Host überhaupt keinen Zugriff mehr habe, kann ich an sich nur die VMs alle manuell herunterfahren und muss den ESXI Host abwürgen (=Power am Server für X Sekunden halten, damit er sich abschaltet). Andere Option gibt es in dem Fall nicht, oder?

Btw. gibt es eigentlich noch aktuelle -DELL spezifische- VMWARE Images?

Wenn auch die DCUI nicht mehr reagiert, kannst du die Power-Taste kurz drücken - eventuell fährt der ESXi durch das Signal noch herunter - die VMs sollten alle aus sein. Ansonsten bleibt nur der Hard Reset.

Ja, Images gibt es laut Dell sowohl bei VMWare als auch bei Dell.

[mcdaniels]

kurze Frage noch: Die 6.5 kann man ohne Weiteres auf die 6.7 Update 3 anheben? (Dell Version: A15, Build-Nr. 17700523)

Danke dir für die Infos!

LG

[~thc]

Stopp. 6.7 ist ein höheres Release. So etwas mache ich immer als Quasi-Neuinstallation (nur die alten Datastores bleiben erhalten).

In deinem konkreten Fall würde ich erst mal auf die aktuelle 6.5er updaten.

[mcdaniels]

Ok, das wäre dann die 6.5 U3, A08 vom September 2021. Ich machte das bislang immer so, dass ich via CD bootete und die Installation laufen lasse (wie du sagst unter Beibehaltung des Datastore). Die Konfiguration sollte da ja auch dann erhalten bleiben, oder hab ich das nicht mehr korrekt in Erinnerung?

[~thc]

O.K. - da fehlt mir dann die Erfahrung. Deine Vorgehensweise ist ja im Prinzip die gleiche wie bei einem Release-Upgrade.

Ich bringe ESXi-Server grundsätzlich über Depots (Zip) auf den neuesten Stand. Von CD starte ich nur bei Release-Wechseln und dort lasse ich dann absichtlich die Konfiguration löschen und lasse nur die Datastores unangetastet.

[mcdaniels]

Was interessant ist beim Host. Ich konnte nun via DCUI einloggen und mich in die CLI begeben. Wollte u.a. gerade den Firewallstatus anschauen.

Nach dem Entippen von:
esxcli network firewall get

hängt DCUI wieder.

Ich nehme an, dass dauert jetzt wieder X Minuten / Stunden und dann werde ich wieder etwas machen können. Scheint also so zu sein, dass DCUI einfriert, dann wieder funktioniert (je nachdem was man auswählt).

[Dayworker]

Deine Annahme hinsichtlich Angriff und Weiterlauf des ESXi ist grundsätzlich falsch, wie man bereits bei Heartbleed leidvoll gesehen hatte. So wie dein System reagiert, könnte ein erfolgreicher Angriff stattgefunden haben und mit dem Patchstand von 2018 ist das auch durchaus möglich. Es hängt nun von dir ab, inwieweit du dem vorhandenen System noch traust.

Selbst wenn du die Dell-A08 von September 2021 einspielst, bist du damit schon 6 Monate zurück und der 6.5er wurde erst kürzlich mit neuem Patch versehen. Neben der A08 wirst du also auch noch die bis dahin aufgelaufenen VMware-Updates einspielen müssen, um auf aktuellem Stand zu sein.



[edit]
Ist deine HW nicht offiziell für den 6.7er freigegeben, solltest du Abstand von einem Upgrade nehmen. Beim 6.7er hat VMware wie bei jedem Versionssprung üblich die supportete HW weiter reduziert und manche HW spielt mit der neuen Version nicht mehr stabil zusammen.

[mcdaniels]

So wie dein System reagiert, könnte ein erfolgreicher Angriff stattgefunden haben und mit dem Patchstand von 2018 ist das auch durchaus möglich.

naja wir hatten gestern, wie gesagt einen Securitycheck (internen Netzwerkscan OpenVAS). Ich bin davon ausgegangen, dass dies vlt. der Problemauslöser war.

Ist deine HW nicht offiziell für den 6.7er freigegeben, solltest du Abstand von einem Upgrade nehmen. Beim 6.7er hat VMware wie bei jedem Versionssprung üblich die supportete HW weiter reduziert und manche HW spielt mit der neuen Version nicht mehr stabil zusammen.

OK, danke. Dachte, dass - wenn das VMWARE Image via Dell (nach Eingabe des Service TAG) zur Verfügung steht, auch alles bzgl. des betreffenden Servers läuft.

[Dayworker]

Wenn Dell für deine HW eine ESXi-Version freigibt, gibt es damit auch keine Probleme. Ich hatte nur deine Angabe T640 übersehen...

[Supi]

O.K. - da fehlt mir dann die Erfahrung. Deine Vorgehensweise ist ja im Prinzip die gleiche wie bei einem Release-Upgrade.

Ich bringe ESXi-Server grundsätzlich über Depots (Zip) auf den neuesten Stand. Von CD starte ich nur bei Release-Wechseln und dort lasse ich dann absichtlich die Konfiguration löschen und lasse nur die Datastores unangetastet.

Die Depotvariante von Thc ist hier gut beschrieben:

https://esxi-patches.v-front.de/ESXi-6.5.0.html

Wenn der Host hinter einer Firewall oder per Proxy Updates ziehen kann, stehen dort auch die CLI Befehle:

Ich vermute aber, dass der Host auch was die Firmware und Bios angeht, sich im Jahr 2018 befindet.

Code: Alles auswählen

# Cut and paste these commands into an ESXi shell to update your host with this Imageprofile
# See the Help page for more instructions
#
esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.5.0-20220204001-standard \
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient
#
# Reboot to complete the upgrade

[mcdaniels]

Danke für die Infos. Ich habe nun alle VMs via SSH und RDP heruntergefahren und den ESXI via IDrac "warm" durchgestartet. Nach dem Reboot läuft nun wieder alles.