vCenter Appliance 6.0 U3 kein Zugriff

[albiderbaer]

Hallo Gemeinde!

wir setzen die VMware-vCenter-Server-Appliance 6.0 Build 30500 mit zwei kleinen Hosts (Esxi 6.0 6921384) ein.

Nun habe ich seit einiger Zeit das Problem, dass ich keinerlei Zugriff auf das vcenter habe. Weder per Webclient noch über den vSphere-Client. Lediglich mittels putty komme ich noch rudimentär ran... Wobei auch dort "Error connecting to the server" angezeigt wird und der Befehl "shell.set --enabled True" nicht ordentlich abgesetzt wird -> Unknown command: `"shell.set'
Auch ein Restart hilft leider nicht weiter.

Typischerweise bin ich auf den Bug mit dem volllaufenden System der Logs hereingefallen und ich habe entsprechend https://kb.vmware.com/s/article/2126276 auch schon versucht die Laufwerke zu vergrößern. Allerdings ohne Erfolg...

Hier meine Herangehensweise:

1. zuerst mittels Veeam eine ältere vcenter Sicherung zurückgespielt auf den Host zurückgespielt und neu gestartet, da keinerlei Zugriff auf die vcenter Appliance möglich war.
2. Zugriff mit putty auf die vcenter Appliance
3. enstprechend https://kb.vmware.com/s/article/2126276 die virt. Festplatte vergrößert
4. df -h zeigte den Erfolg der Vergrößerung an
5. Zugriff mit putty auf die vcenter appliance ist danach anfangs möglich (obiger Hinweis "Error connecting to the server" erscheint zuerst nicht), jedoch läuft dann scheinbar wieder das System voll - da ich nach einer Weile dann wieder keinen Zugriff mehr habe... Die Meldung "Error connecting to the server" erscheint.

Einen Zugriff auf das vCenter per Browser oder vSphere-Client bekomme ich z. Zeit gar nicht hin. Das vCenter ist Bestandteil einer Windows Domäne.

Kann das u. U. damit zu tun haben, dass die virt. Festplatte mit thin provisioning eingestellt ist? Die virt. Festplatte kann doch aber nicht so schnell wieder voll sein (von 10 auf 25GB vergrößert)?

Ich wäre für jeden Rat dankbar und danke im voraus.

Gruß Thomas

[irix]

Lange Rede kurzer Sinn. VMware hat die Logverwaltung bzw. das Datenwachstum nicht im Griff und nur unvollstaendig da Aufraeumprozeduren implementiert. Des weiteren weiss VMware ja auch nicht fuer was die Kunden das Ding zweckentfremden (SYSLOG Ziel!!) bzw. an Plugins da reininstallieren.

Ergo....monitore einfach mittels SNMP die Partitionen und wenn die Schwellwerte ueberschritten werden dann guckt man nach und raeumt auf. In der 6.7 ist im VAMI da auch mehr drin.

Je nach Versionsstand kannst du die Logrotation etwas anpassen was Groesse und Anzahl angeht. Das muss aber fuer jedes Dienst einzeln gemacht werden bzw. es sind nicht alle da eingepflegt.
Das hilft aber wenn wenn aus anderen Gruenden da Dienste Abstuerzen und CORE und DUMP Files sich dann da stapeln nicht.

Wenn / root volllaueft dann kann man sie nach einziger Zeit definitiv nicht mehr anmelden weil die Prozesse nicht gespawnt werden koennen. Etwas besser schaut es aus wenn nur /var/log oder dergleichen betroffen ist.

Gruss
Joerg

[albiderbaer]

Okay und wie komme ich jatz dann nun ran um überhaupt zu löschen?

Müsste ich also wieder ein Backup zurücksielen und dann per putty die zu großen Logs löschen? Gibt es denn auch ein weg per winscp? Hier wäre für mich das Handling besser, da Explorer-Ansicht.

Gruß Thomas

[irix]

1. Gucken ob einer deiner Backups der den Login ermoeglich und dann mittels df -h und du -sh * in den Ordner gucken wo die Brocken denn liegen

bzw. wenn du nicht zurueck gehen willst/kannst

2. Pruefen ob SingleUserMode noch geht bzw. den RescueMode welchen man auch nimmt wenn man das RootPW zurueck setzen muss
3. Die vDisk in eine anderen LinuxVM einhaengen und mounten

um dann zu loeschen. Bei 2 und 3 koennte die Herausforderung sein das die VCSA ja gefuehlt 37 vDisk hat welche da mit mittels LVM bereit gestellt werden und man von aussen nicht sieht was auf welcher liegt.

Hier laueft primaer /var/log, database und audit.log voll und in extrem seltenen Faellen das /. Letzteres ist das gefaehrlichere und besonders dramatisch wenn beim Inplace Upgrade ihm der Platz ausgeht. Weil dann hilft nur noch RevertToSnapshot und eine neuer Anlauf.

Gruss
Joerg

[albiderbaer]

Vielen Dank für den Tipp.
Ich habe manuell die großen Logs gelöscht und nun habe ich auch wieder Zugriff auf die Appliance.
In der Appliance wollte ich nun gleich mal ein Update (6.0.0.30500 Build Number 7977753 auf 6.0.0.30600 Build-Nummer 8874691) fahren, kann aber nicht erkennen ob sich etwas tut? Woran ist denn überhaupt zu erkennen, dass tatsächlich ein Update gemacht wird. Im Browser ist jedenfalls kein Fortschritt auszumachen.
Oder ist es vielleicht sinnvoll gleich ein Upgrade unter dem Hinweisauf 6.5 oder 6.7 zu machen?

[irix]

Wenn das Update ueber den Browser gestartet wird dann sieht man doch sofort einen Fortschrittsbalken und mittels "Details" informiert er so ein bisschen was er da tut. Wer die VM Stats anguckt was Netzwerktraffic angeht der sieht das er da erstmal was herunterlaedt aus dem Internet.

6.7 macht nur Sinn wenn deine Umgebung (Backup, Monitoring usw.) dies auch schon kann.

Gruss
Joerg

[albiderbaer]

So nun habe ich die vcenter wieder zu Laufen bekommen. Das Root-LW war voll gelaufen und ich habe entsprechend https://kb.vmware.com/s/article/2149278 ein bisserl aufgeräumt. Passwortänderungen inbegriffen.
Auf die vCenter-Appliance (:5480) habe also nun Zugriff und auf das vcenter an sich komme ich per Webclient, als auch auf vSphere-Client drauf.
Er zeigt mir jedoch dort ein Fehlermeldung an:
"Esxi-Host-IP" kann nicht synchronisiert werden: Die Anmeldung kann aufgrund eines falschen Benutzernamens oder Kennworts nicht abgeschlossen werden.
Schnellstatistik "Esxi-Host-IP" auf ist nicht auf neueseten Stand.

Kann ich hier einfach den Host vom vcenter trennen und wieder aufnehmen? Und wenn ich das tun würde, würden dann auch die Sicherungsaufgaben von veeam b&r ganz normal wieder weiterlaufen, oder müsste alles neu dann wieder eingerichtet werden?

Vielen Dank im voraus.
Thomas

[irix]

Einfach auf "Neu verbinden" fuer den Host.

Gruss
Joerg

[albiderbaer]

Veeam Datensicherung läuft auch dann normal weiter? Nicht dass dann andere ID's oder so vorhanden sind...

[irix]

Stopp..... ich meine nicht Neu.... sondern Reconnect. K.A wie das in der deutschen GUI heist. Dann initiert vCenter die Verbindung und wartet nicht das der Host sich meldet.

Gruss
Joerg

[albiderbaer]

jupp das war es .

Danke

[JustMe]

"Erneut verbinden".

Ansonsten: Forcing a localized vSphere Client or vSphere Web Client installation to launch in a localized language/English
Damit kann man sich sogar mehrere unterschiedliche Sprachformate in unterschiedlichen Browserfenstern gleichzeitig anzeigen lassen.