vCenter - Einige Dienste starten nicht mehr

[RalphT]

Moin,

ich habe ein Problem mit vSphere 6.7.
Das vCenter funktionierte seit ca. 2 Jahren sehr gut. Seit ein paar Tagen habe ich per https keinen Zugriff mehr. Folgende Fehlermeldung erscheint:


[400] Beim Senden der Authentifizierungsanforderung an den vCenter Single Sign-On-Server ist ein Fehler aufgetreten - Beim Verarbeiten der Metadaten während der Einrichtung von vCenter Single Sign-On ist ein Fehler aufgetreten - null.
Back to login screen


Über https für den ROOT-Zugang über Port 5480 funktioniert der Zugriff. Mir ist dabei aufgefallen, dass einige Dienste wie z.B.

- VMware vCenter-Services
- VMware vCenter Server

nicht gestartet wurden. Ein nachträglicher Start funktioniert nicht.
Der Server hat von mir damals ein internes Zertifikat bekommen. Das ist noch gültig.
Der Server läuft auf einem ESXi-Server.

Was ich bisher gemacht habe:

- Server vShpere neugestartet.
- Den Server auf einen anderen ESXi-Server gestartet.
- Den ESXi-Server auch neu gestartet.
- Die Partition "Archive" war zu 95% belegt. Das wurde bereinigt.
- Den Server aus einer Datensicherung zurückgesichert. Die Sicherung stammt aus einer Zeit, wo der Zugriff noch funktionierte.
- Den Server ohne Netzwerkkabel neu gestartet. Ich wollte damit ausschließen, dass es aus dem Netzwerk Konflikte gibt.
- Den Server in eine ganz andere Umgebung (Testumgebung) zurück gesichert. Hier gibt es keine Verbindungen zum Unternehmensnetzwerk.
- Das Zertifikat ist ja gültig. Habe gelesen, dass das mal ein Problem sein könnte.
- Aus den LOGs wurde ich leider nicht schlau. Vielleicht habe ich auch an falschen Stellen geguckt.

Ok, ich hätte in diesser Zeit der Fehlersuche einen neuen Server installieren können. Aber irgendwie wurmt mich das, dass ich den Fehler nicht finde.

Hat jemand eine Idee, wo ich noch suchen kann?

[irix]

Na dann zeig uns doch erstmal welche Dienste laufen ....

Code: Alles auswählen

service-control --status

Meine Kristalkugel sagt mir das die Zerts abgelaufen sind.

Gruss
Joerg

[RalphT]

Hier das Ergebnis:

Code: Alles auswählen

Stopped:
 pschealth vmcam vmware-certificatemanagement vmware-content-library vmware-imagebuilder vmware-mbcs vmware-netdumper vmware-perfcharts vmware-rbd-watchdog vmware-sps vmware-topologysvc vmware-updatemgr vmware-vapi-endpoint vmware-vcha vmware-vpxd vmware-vpxd-svcs vmware-vsan-health vmware-vsm vsan-dps
Running:
 applmgmt lwsmd vmafdd vmcad vmdird vmdnsd vmonapi vmware-analytics vmware-cis-license vmware-cm vmware-eam vmware-pod vmware-postgres-archiver vmware-rhttpproxy vmware-sca vmware-statsmonitor vmware-sts-idmd vmware-stsd vmware-vmon vmware-vpostgres vsphere-client vsphere-ui


Das hatte ich in einem Forum auch mal gelesen. Du schreibst certs, also in Mehrzahl. Gibt es dort außer dem https-Zertifikat noch weitere? Wie ich ja schon geschrieben hatte, dass https-Zertifikat ist nicht abgelaufen.

[irix]

Was du mal ausgetauscht und geprueft hast ist das __MACHINE_CERT. Da gibts noch nen knappes halbes dutzend andere. Das wichtigste ist das STS und das wuerde ich zu erst pruefen(allerdings sehe in den STS gestartet). Es gibt das checkSTS.py script und wenn man es braucht das fixSTS.py.

Ansonsten:

Code: Alles auswählen

for store in $(/usr/lib/vmware-vmafd/bin/vecs-cli store list | grep -v TRUSTED_ROOT_CRLS); do echo "[*] Store :" $store; /usr/lib/vmware-vmafd/bin/vecs-cli entry list --store $store --text | grep -ie "Alias" -ie "Not After";done;

Was Logs angeht mal die des vmware-vpxd angucken. Das ist der vCenter Dienst.

Gruss
Joerg

[irix]

- Die Partition "Archive" war zu 95% belegt. Das wurde bereinigt.

Da gibts nichts zu bereinigen. In /storage/archive wird per Umlaufprotokolierung geschrieben... das heist wenn es irgendwann mal voll ist dann wird das aelteste ueberschrieben. Das ist so "By Design".

Gruss
Joerg

[Santa]

Moin,
- Den Server aus einer Datensicherung zurückgesichert. Die Sicherung stammt aus einer Zeit, wo der Zugriff noch funktionierte.
- Den Server ohne Netzwerkkabel neu gestartet. Ich wollte damit ausschließen, dass es aus dem Netzwerk Konflikte gibt.
- Den Server in eine ganz andere Umgebung (Testumgebung) zurück gesichert. Hier gibt es keine Verbindungen zum Unternehmensnetzwerk.

Wenn Du soweit bist, dann stell mal die Uhr passend zurück und deaktiviere NTP.
Wenn das VCenter einmal läuft gibt es unter "Zertifikatsverwaltung" eine Button um alle Zertifikatsketten neu zu erstellen.
Alternativ mit der CLI: https://blogs.vmware.com/professional-s ... icate.html

[irix]

Die GUI brauchts da nicht.... das geht alles auf der Shell.

Code: Alles auswählen

/usr/lib/vmware-vmca/bin/certificate-manager

Aber wie gesagt... vorher STS angucken weil der SecureTokenService ist die Grundlage fuer alles.

Bei alten vCenter wie einem 6.7 kann es auch eine Abhaengigkeit zu DNS geben. Bei einem neueren vCenter ist die Aussage das ein Restore von einem funktionierenden Stand nicht funktioniert ein starkes Indiz fuer Certifikatsprobleme. Das mit der Urzeit verdrehen ist nicht ganz einfach weil diese beim Start der VM vom Host kommt. Das muesste man deaktivieren oder gucken ob man in der Shell das Datum zurueck stellen kann.

Aber ich wuerde mir einfach die Certs angucken... das wars es meistens hier und bei meinen Kunden.

Gruss
Joerg

[RalphT]

So,

nun läuft das wieder. Hatte heute morgen mal noch dem Ablaufdatum der Zertifikate geschaut. Es sind ein paar abgelaufen.
Hier das Ergebnis:

Code: Alles auswählen

[*] Store : MACHINE_SSL_CERT
Alias : __MACHINE_CERT
            Not After : Dec  7 09:18:07 2029 GMT
[*] Store : TRUSTED_ROOTS
Alias : 7c8c22dd3fcb299faf1ea5ef36eb8a1a625781a7
            Not After : Dec 11 12:29:48 2032 GMT
Alias : aaabf20a67ce8182fca97cb1d33e60431a07c74c
            Not After : May 24 09:58:26 2033 GMT
Alias : eab5d8e5412b6b846bfcb4e95ee0c089c60fb2b0
            Not After : Dec  7 09:18:07 2029 GMT
Alias : 36cc59de23d261acb863c91e0b75b306e6cb34e1
            Not After : Dec  7 06:57:14 2042 GMT
[*] Store : machine
Alias : machine
            Not After : May 29 09:48:28 2025 GMT
[*] Store : vsphere-webclient
Alias : vsphere-webclient
            Not After : May 29 09:48:28 2025 GMT
[*] Store : vpxd
Alias : vpxd
            Not After : May 29 09:48:29 2025 GMT
[*] Store : vpxd-extension
Alias : vpxd-extension
            Not After : May 29 09:48:30 2025 GMT
[*] Store : APPLMGMT_PASSWORD
[*] Store : data-encipherment
Alias : data-encipherment
            Not After : May 29 09:48:31 2025 GMT
[*] Store : SMS
Alias : sms_self_signed
            Not After : Dec 17 12:39:31 2032 GMT
[*] Store : server-vcenter.firma.de
Alias : server-vcenter.firma.de
            Not After : May 29 09:46:35 2025 GMT
[*] Store : BACKUP_STORE
Alias : bkp___MACHINE_CERT
            Not After : May 29 09:48:27 2025 GMT
Alias : bkp_machine
            Not After : May 29 09:48:28 2025 GMT
Alias : bkp_vsphere-webclient
            Not After : May 29 09:48:28 2025 GMT
Alias : bkp_vpxd
            Not After : May 29 09:48:29 2025 GMT
Alias : bkp_vpxd-extension
            Not After : May 29 09:48:30 2025 GMT


Dann bin ich einfach mal mit fixSTS.py beigegangen. Ich hatte hier den Link dazu gefunden:

https://www.ugg.li/vmware-vcenter-die-s ... e_vignette

Lief auch fehlerfrei durch, nur nützte es nichts.

Dann hatte ich noch etwas weiter bei google gesucht, dann aber doch die Nase voll gehabt und den Server neu aufgesetzt.

[irix]

Nicht das ich mich beschweren will aber das war dann doch fuer alle Zeitverschwendung.

Bevor man fixSTS verwendet mit dem checkSTS erstmal gucken obs es was zu machen gibt. Da den STS Dienst aber lief glaube ich nicht das das STS abgelaufen war. Somit ist ein fixSTS unnoetig und wie du geschrieben hast hat es nicht gewirkt.

Da du geschrieben hast das du abgelaufene Certs (29.5.2025) in dem CertStores gesehen hast waere meine Loesung gewesen im CertManager den Menupunkt "8" zu waehlen und alle Certs neu zumachen. Dauert 2-3min inkl. Dienstneustart.

Gerade bei einem Kunden gemacht welchem das __Machine_Cert ausgelaufen war. Sein vSphere Client ging noch aber das Cert Management in der GUI ging nicht mehr weil der Dienst gestoppt war und sich nicht mehr starten lies.

Denk dran das dein neues vCenter auswirkungen auf eine vorhandene VM Datensicherung hat.

Gruss
Joerg

[RalphT]

Nicht das ich mich beschweren will aber das war dann doch fuer alle Zeitverschwendung.

Ja ich weiß. Konnte ich doch vorher nicht ahnen.

Da du geschrieben hast das du abgelaufene Certs (29.5.2025) in dem CertStores gesehen hast waere meine Loesung gewesen im CertManager den Menupunkt "8" zu waehlen und alle Certs neu zumachen. Dauert 2-3min inkl. Dienstneustart.

Das werde ich mir morgen nochmal im Manager ansehen. Ich hatte nur gegoogelt und da kam irgendwie nichts vernünftigs bei rum.
Dieser Server wird wahrscheinlich das Ende der derzeitigen Zertifikat eh nicht mehr überleben. Version 6.7 ist ja einfach schon zu alt.
Natürlich habe ich heute auch gleich wieder das Maschinen Zertifikat getauscht. Natürlich habe ich im Wahn einen kleinen Fehler gemacht. Da geht auch noch mal extra schön viel Zeit drauf, wenn man einen Fehler gemacht hat.

Denk dran das dein neues vCenter auswirkungen auf eine vorhandene VM Datensicherung hat.

Oh, das hätte ich jetzt nicht bedacht. Da werde ich auch morgen einen Blick darauf werfen.

Trotzdem noch mal danke.