massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

[mcdaniels]

Hallo zusammen,

ich habe gestern unsere ESXI Infrastruktur aktualisiert. Das Upgrade lief problemlos.

Hardware
2 ESXI Hosts folgender Ausstattung:
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 16
Netzwerkkarten: 6
Virtuelle Maschinen: 12

RAM: 256GB
Storage: (eingebaute Festplatten - Raid 10, 8 Stück) insgesamt 3,2TB

Probleme
Die VMs eines Hosts (auf dem die wichtigsten VMS laufen) -- 12 VMS) reagierten teilweise extrem zäh. Vor allem Datenbankanwendungen laufen langsamer wie zuvor. (es ist eine MS SQL Server-VM vorhanden)

Schaue ich mir auf dem Problemhost esxtop an, sieht das so aus:

Bzgl. CPU Auslastung fällt auf, dass eine VM sowohl bei %USED als auch %RUN das System sogar heute (Sonntag, es ist nichts los) über 100% beansprucht.

Dass "system" bei %RUN auf über 1000 steht ist -was ich gelesen habe - normal.
Ich kann das Ergebnis von esxtop nicht so recht interpretieren. Ich hab nur gelesen dass ein Wert von über 100 bei %Used & %Run schlecht ist bzw. dass %RDY im Normalbetrieb nie über 5% gehen sollte.

Kann diese Auslastung dafür verantwortlich sein, dass alles zäh läuft? Was kann man in so einem Fall machen?

Firmware und Bios sind auf beiden Hosts auf dem letzten Stand. (von gestern)

Vielen Dank!

[mcdaniels]

Was mir jetzt gerade noch auffällt einer der Hosts hat Hyperthreading aktiv (Allerdings mit inaktiv nach Neustart - Vermerk)

Der Problemhost hat Hyperthreading nicht aktiv (lt VCenter), weshalb er auch nur 16 Kerne zur Verfügung stellt.

Das sieht dann so aus:
Host 1
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 32
Netzwerkkarten: 6
Virtuelle Maschinen: 13
Zustand: Verbunden
Betriebszeit: 1 Tage

Host 2
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 16
Netzwerkkarten: 6
Virtuelle Maschinen: 12
Zustand: Verbunden
Betriebszeit: 23 Stunden

Bei beiden Hosts ist "Logical Processor" im Bios Enabled.

Ich denke mit 52 vCPUs auf einem Host mit 16 logischen Kernen, verlange ich dem System viel ab. Eventuell kommt es ja deshalb zu diesem Problem.

Das wäre ein Verhältnis von 1 pCPUs :3,25 vCPUs

Jedenfalls hab ich jetzt mal die Kerne der VMs (die nicht unbedingt darauf angwiesen sind) reduziert, um mehr freie pCPU Ressourcen zu schaffen. Es läuft jetzt besser.

Weshalb Hyperthreading auf einem Host deaktiviert ist und beim anderen nach einem Neustart deaktiviert sein wird, muss ich allerdings erst eruieren. Ich nehme an, dass das Hyperthreading schon zumindest etwas an Leistung bringt...

[irix]

Das Problem kann man doch im ersten Screenshot sehen..... hohe CPU Ready Werte welche zeigen das die VMs warten muessten wegen ungenuegender CPU Resourcen. Du hast 52 vCPUs bei 8 pCores. Das ist ja ein 6.5:1.

Wenn du dann noch die mitigation gegen Spectre&Meltdown aktiviert haben solltest ist klar warum die Performance unterirdisch ist.

Gruss
Joerg

[mcdaniels]

Das Problem kann man doch im ersten Screenshot sehen..... hohe CPU Ready Werte welche zeigen das die VMs warten muessten wegen ungenuegender CPU Resourcen. Du hast 52 vCPUs bei 8 pCores. Das ist ja ein 6.5:1.

Wenn du dann noch die mitigation gegen Spectre&Meltdown aktiviert haben solltest ist klar warum die Performance unterirdisch ist.

Gruss
Joerg

Hi,
bei 6.5 ist das aber nicht wirklich derart aufgefallen, mit der Performance. Komisch.Wenn man sich mit diesen Werten auskennt, ist es klar, ja. Ich hab mir das erst heute mal ganz genau aneschaut und mich wieder eingelesen

Dass "System" einen hohen Wert hat, ist normal, stimmt das?

Hab die vCPUs jetzt reduziert, wie gesagt.

Sieht jetzt so aus:

Bezüglich Kerne : das sind 2 CPUs pro Host mit jeweils 8 Kernen, wären dann 16, oder?

Wäre Hyperthreding aktiv dann, zumindest am Papier, 32.

Hast du ne Ahnung weshalb das Hyperthreading auf einem inaktiv ist, obwohl im BIOS aktiv / beim anderen offenbar nach einem Restart deaktiviert wird? Bringt HT auf dem ESXI etwas? (Performance)

Ich habe bzgl Spectre und Meltdown nichts aktiviert. Sofern das also nicht standardmäßig aktiviert wird, sollte es deaktiviert sein. Falls es sich deaktivieren lässt: Ist eine Deaktivierung denn ein sinnvoller Weg, um mehr Performance rauszukitzeln?

LG

[mcdaniels]

Hi,
kurzes Update.

Wie von @irix vermutet, ist die Mitigation gegen Spectre&Meltdown akiv. Deshalb ist dann auch HT inaktiv.

Aufgrund dessen, dass die 6.5er Version diesen Fix nicht implementiert hatte (da lange nicht geupdated wurde), gab es das Problem nicht.

Jedenfalls ist die Option jetzt auf false gesetzt. (Vmkernel.boot.HT -> war auf true -> jetzt ist es so eingestellt, wie am Screenshot ersichtlich)

Der notwendige Host-Neustart kann aber leider nicht sofort durchgeführt werden.

Ich hoffe jedenfalls, dass es danach wieder besser läuft.

@irix: Danke für den Tipp!!

[mcdaniels]

Übrigens, der Sensor "BEREIT" (Ready) meldet via VSphere-Überwachung noch immer hohe Werte, obwohl ich die vCores / VM reduziert habe. (zwischen 6.000ms und 14.000ms)

Das sollte lt. meiner Info nach bei max.1500 liegen.

Werde dann später (mit Hyperthreading) und ohne die Mitigation testen (nachdem der Host neu gestartet wurde). Bin gespannt, ob das tatsächlich derartige Auswirkungen hat.

So sieht das nachher aus (wahnsinniger Unterschied!!!)