Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

[Gelöst] High Load auf den Domain Controllers

Alles zum Thema vSphere 6, ESXi 6.0 und vCenter Server.

Moderatoren: irix, Dayworker

Member
Beiträge: 104
Registriert: 18.10.2015, 18:15

[Gelöst] High Load auf den Domain Controllers

Beitragvon Whitemoon » 25.11.2017, 10:46

Guten Morgen zusammen,
vergangenen Donnerstagnacht wurde auf unseren ESXi-Hosts Updates für ESXi eingespielt. Seitdem habe ich bei den virtuellen Domain Controllers folgendes Problem: Nach knapp 30-90 Minuten ist der Arbeitsspeicher der VM vollständig (100%) belegt. Anschließend geht nichts mehr. Die Windows Dienste (AD, Winlogon, etc..) stellen natürlich ihre Dienst ein.

Starte ich den Task Manager auf beiden VMs und sortiere nach RAM so ist belegt der Domänennameserver (DNS) gerade mal 89 MB. In der Gesamtsumme sind aber bereits 47% belegt. Gleiches Bild im Ressourcen Monitor.

Ein Neustart über den vSphere Client schlägt ebenfalls fehl. Egal ob über dass vCenter oder den ESXi - Host selber. Es erscheint folgende Meldung:

Code: Alles auswählen

Neustart des Gastbetriebssystems initiieren
NAME DER VM
Ein allgemeiner Systemfehler ist aufgetreten: Invalid fault
DOMÄNE\BENUTZERNAME
NAME DES VCENTER-SERVER


Die VMs der beiden Domain Controllers sind wie folgt konfiguriert:
- VMWare Tools 10.1.10.6082533
- Kein Virenscanner installiert
- 2x vCPUs, 4GB RAM
- Windows Server 2012R2 Standard
- Patchstand Oktober 2017

Aktuelle Version der VMWare Hosts bzw. vCenter Server:
ESXi Hosts (6.0.0, 6921384)
vCenter Server (6.0.0, 7037394)

Folgende Patches wurden auf dem Host installiert:

Code: Alles auswählen

[root@esxiXX:~] esxcli software vib list | grep 2017-11-23
esx-base                       6.0.0-3.79.6921384                     VMware   VMwareCertified   2017-11-23
esx-dvfilter-generic-fastpath  6.0.0-3.79.6921384                     VMware   VMwareCertified   2017-11-23
esx-ui                         1.22.0-6282878                         VMware   VMwareCertified   2017-11-23
esx-xserver                    6.0.0-3.76.6856897                     VMware   VMwareCertified   2017-11-23
ipmi-ipmi-devintf              39.1-5vmw.600.3.79.6921384             VMware   VMwareCertified   2017-11-23
ipmi-ipmi-msghandler           39.1-5vmw.600.3.79.6921384             VMware   VMwareCertified   2017-11-23
misc-drivers                   6.0.0-3.79.6921384                     VMware   VMwareCertified   2017-11-23
vmware-fdm                     6.0.0-7037394                          VMware   VMwareCertified   2017-11-23
vsan                           6.0.0-3.79.6766495                     VMware   VMwareCertified   2017-11-23
vsanhealth                     6.0.0-3000000.3.0.3.79.6769065         VMware   VMwareCertified   2017-11-23
tools-light                    6.0.0-3.76.6856897                     VMware   VMwareCertified   2017-11-23


Ich habe bereits an einem Rollback gedacht. Jedoch wurden mir im Recovery Mode beides Mal die aktuelle Build Numbers angezeigt. Wodurch ich die Idee aktuell verworfen habe.

Ist jemand dieses Beobachtung bereits unter die Augen gekommen und kennt evtl. einen Workaround bzw. eine Lösung?!


Gruß,
Dani

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: High Load auf den Domain Controllers

Beitragvon ~thc » 25.11.2017, 14:11

Moin.

Als erste Anlaufstelle gelten in meinen Augen die älteren Tools auf den Server-VMs in Kombination mit den neueren ESXi-Serverkomponenten. Starte auf den VMs doch mal den Microsoft Process Explorer und sieh nach, ob da nicht ein Memory Leak in den Tools neu aufgetaucht ist.
Ich habe bereits an einem Rollback gedacht. Jedoch wurden mir im Recovery Mode beides Mal die aktuelle Build Numbers angezeigt.

Dann sind die Patches in mindestens zwei konkreten Schritten eingespielt worden, und ein Rollback auf den ursprünglichen Stand ist dadurch unmöglich geworden. Wenn die Möglichkeit besteht, sollte man immer alle Patches in einem Rutsch einspielen. Besonders mit unsignierten Treibern/SMI-Providern ist das nicht banal, siehe http://vmware-forum.de/viewtopic.php?f=39&t=30063.

Member
Beiträge: 104
Registriert: 18.10.2015, 18:15

Re: High Load auf den Domain Controllers

Beitragvon Whitemoon » 25.11.2017, 14:30

Dann sind die Patches in mindestens zwei konkreten Schritten eingespielt worden, und ein Rollback auf den ursprünglichen Stand ist dadurch unmöglich geworden. Wenn die Möglichkeit besteht, sollte man immer alle Patches in einem Rutsch einspielen.

Eigentlich nicht. Es wurden alle Patches auf einmal "Bereitgestellt" und anschließend "Standardisiert". Abschließend der gewohnte automatische Neustart des Hosts. Ich habe diese einen Hosts heute Morgen mehrmals neu gestartet, aber das dürfe nichts ausmachen, oder?

Als erste Anlaufstelle gelten in meinen Augen die älteren Tools auf den Server-VMs in Kombination mit den neueren ESXi-Serverkomponenten.

Nachdem zwischen zeitlich ein Domain Controller neu aufgesetzt werden musste, habe ich dort die VMWare Tools (10.0.9.3917699) installiert. Das entspricht der Version, welche vor dem Patchen auf allen VMs installiert war. Das Problem taucht leider nach wie vor auch an der VM auf. :-(

Starte auf den VMs doch mal den Microsoft Process Explorer und sieh nach, ob da nicht ein Memory Leak in den Tools neu aufgetaucht ist.

Gute Idee. Wie sehe ich dort ein Memory Leak?

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: High Load auf den Domain Controllers

Beitragvon ~thc » 25.11.2017, 14:43

Du kannst dann in den zwei Memory-Spalten nach dem Speicherfresser-Prozess schauen. Notfalls auch andere Speicherwerte einblenden.
Untitled.png
Untitled.png (5.24 KiB) 2836 mal betrachtet

Member
Beiträge: 104
Registriert: 18.10.2015, 18:15

Re: High Load auf den Domain Controllers

Beitragvon Whitemoon » 26.11.2017, 11:25

Guten Morgen ~thc,
entschuldige die späte Rückmeldung. Nachdem langen Tag gestern, muss ich erstmal aufs Ohr hauen und schlafen.
Dein Tipp bezüglich ProcessMonitor war Gold wert. Darüber habe ich herausgefunden dass die svhost.exe der Auslöser ist. Leider verstecken sich dahinter mehrere Dienste als mancher denkt. Also habe ich nacheinander die Dienste beendet, bis die Last wieder im Bereich des normalen lag.

Schlussendlich lag es nicht wie vermutet am VMware Update sondern an Microsoft. Das Problem wurde sogar von Microsoft dokumentiert:
https://blogs.technet.microsoft.com/cor ... 12-2012r2/

Vielen Dank für deine Unterschützung.

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: [Gelöst] High Load auf den Domain Controllers

Beitragvon ~thc » 26.11.2017, 11:50

Freut mich.
Und in Bezug auf die ESXi-Updates war es dann reine Koinzidenz.

P.S.: Der Micosoft Ressourcenmonitor kann in so einem Fall die Dienste leider nur in Bezug auf die CPU einzeln aufdröseln.

Guru
Beiträge: 3081
Registriert: 27.12.2004, 22:17

Re: High Load auf den Domain Controllers

Beitragvon rprengel » 26.11.2017, 15:41

Whitemoon hat geschrieben:Guten Morgen ~thc,
entschuldige die späte Rückmeldung. Nachdem langen Tag gestern, muss ich erstmal aufs Ohr hauen und schlafen.
Dein Tipp bezüglich ProcessMonitor war Gold wert. Darüber habe ich herausgefunden dass die svhost.exe der Auslöser ist. Leider verstecken sich dahinter mehrere Dienste als mancher denkt. Also habe ich nacheinander die Dienste beendet, bis die Last wieder im Bereich des normalen lag.

Schlussendlich lag es nicht wie vermutet am VMware Update sondern an Microsoft. Das Problem wurde sogar von Microsoft dokumentiert:
https://blogs.technet.microsoft.com/cor ... 12-2012r2/

Vielen Dank für deine Unterschützung.


Hallo,
ich kenne das Problem wenn Windows Updates klemmen.
Was war es bei wuch genau?
gruss

Member
Beiträge: 104
Registriert: 18.10.2015, 18:15

Re: [Gelöst] High Load auf den Domain Controllers

Beitragvon Whitemoon » 26.11.2017, 15:57

Hey rprengel,
Windows Updates aus dem November wurden noch nicht installiert, da wir meistens bis eine Woche vor dem nächsten Patchday warten. :-)

Der Spuck war vorbei als wir den Dienst Remoteregistierung beendet haben. Allerdings wird damit auch der DFS Dienst beendet. Was auf einem Domain Controller eher suboptimal ist. Durch den Microsoft Support bin ich auf den Link aufmerksam geworden. Ich habe also den Wert des Registierungsschlüssel angepasst. Abschließend dei VM neu gestartet und siehe da bisher laufen die Systeme wieder wie gewohnt.

Grüße


Zurück zu „vSphere 6.0“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 14 Gäste