Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Alles zum Thema vSphere 7, ESXi 7 und vCenter-Server bzw VCSA7.

Moderatoren: irix, Dayworker

Member
Beiträge: 173
Registriert: 03.07.2013, 12:06

massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon mcdaniels » 17.12.2022, 13:25

Hallo zusammen,

ich habe gestern unsere ESXI Infrastruktur aktualisiert. Das Upgrade lief problemlos.

Hardware
2 ESXI Hosts folgender Ausstattung:
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 16
Netzwerkkarten: 6
Virtuelle Maschinen: 12

RAM: 256GB
Storage: (eingebaute Festplatten - Raid 10, 8 Stück) insgesamt 3,2TB

Probleme
Die VMs eines Hosts (auf dem die wichtigsten VMS laufen) -- 12 VMS) reagierten teilweise extrem zäh. Vor allem Datenbankanwendungen laufen langsamer wie zuvor. (es ist eine MS SQL Server-VM vorhanden)

Schaue ich mir auf dem Problemhost esxtop an, sieht das so aus:

esxi3_esxtop.JPG





Bzgl. CPU Auslastung fällt auf, dass eine VM sowohl bei %USED als auch %RUN das System sogar heute (Sonntag, es ist nichts los) über 100% beansprucht.

Dass "system" bei %RUN auf über 1000 steht ist -was ich gelesen habe - normal.
Ich kann das Ergebnis von esxtop nicht so recht interpretieren. Ich hab nur gelesen dass ein Wert von über 100 bei %Used & %Run schlecht ist bzw. dass %RDY im Normalbetrieb nie über 5% gehen sollte.

Kann diese Auslastung dafür verantwortlich sein, dass alles zäh läuft? Was kann man in so einem Fall machen?

Firmware und Bios sind auf beiden Hosts auf dem letzten Stand. (von gestern)

Vielen Dank!

Member
Beiträge: 173
Registriert: 03.07.2013, 12:06

Re: massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon mcdaniels » 17.12.2022, 13:37

Was mir jetzt gerade noch auffällt einer der Hosts hat Hyperthreading aktiv (Allerdings mit inaktiv nach Neustart - Vermerk)

Der Problemhost hat Hyperthreading nicht aktiv (lt VCenter), weshalb er auch nur 16 Kerne zur Verfügung stellt.

Das sieht dann so aus:
Host 1
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 32
Netzwerkkarten: 6
Virtuelle Maschinen: 13
Zustand: Verbunden
Betriebszeit: 1 Tage

Host 2
Hypervisor: VMware ESXi, 7.0.3, 20328353
Modell: PowerEdge T640
Prozessortyp: Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz
Logische Prozessoren: 16
Netzwerkkarten: 6
Virtuelle Maschinen: 12
Zustand: Verbunden
Betriebszeit: 23 Stunden

Bei beiden Hosts ist "Logical Processor" im Bios Enabled.

Ich denke mit 52 vCPUs auf einem Host mit 16 logischen Kernen, verlange ich dem System viel ab. Eventuell kommt es ja deshalb zu diesem Problem.

Das wäre ein Verhältnis von 1 pCPUs :3,25 vCPUs

Jedenfalls hab ich jetzt mal die Kerne der VMs (die nicht unbedingt darauf angwiesen sind) reduziert, um mehr freie pCPU Ressourcen zu schaffen. Es läuft jetzt besser.

Weshalb Hyperthreading auf einem Host deaktiviert ist und beim anderen nach einem Neustart deaktiviert sein wird, muss ich allerdings erst eruieren. Ich nehme an, dass das Hyperthreading schon zumindest etwas an Leistung bringt...

King of the Hill
Beiträge: 12845
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon irix » 17.12.2022, 17:35

Das Problem kann man doch im ersten Screenshot sehen..... hohe CPU Ready Werte welche zeigen das die VMs warten muessten wegen ungenuegender CPU Resourcen. Du hast 52 vCPUs bei 8 pCores. Das ist ja ein 6.5:1.

Wenn du dann noch die mitigation gegen Spectre&Meltdown aktiviert haben solltest ist klar warum die Performance unterirdisch ist.

Gruss
Joerg

Member
Beiträge: 173
Registriert: 03.07.2013, 12:06

Re: massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon mcdaniels » 17.12.2022, 19:35

irix hat geschrieben:Das Problem kann man doch im ersten Screenshot sehen..... hohe CPU Ready Werte welche zeigen das die VMs warten muessten wegen ungenuegender CPU Resourcen. Du hast 52 vCPUs bei 8 pCores. Das ist ja ein 6.5:1.

Wenn du dann noch die mitigation gegen Spectre&Meltdown aktiviert haben solltest ist klar warum die Performance unterirdisch ist.

Gruss
Joerg


Hi,
bei 6.5 ist das aber nicht wirklich derart aufgefallen, mit der Performance. Komisch.Wenn man sich mit diesen Werten auskennt, ist es klar, ja. Ich hab mir das erst heute mal ganz genau aneschaut und mich wieder eingelesen ;-)

Dass "System" einen hohen Wert hat, ist normal, stimmt das?

Hab die vCPUs jetzt reduziert, wie gesagt.

Sieht jetzt so aus:
esxtop.png


Bezüglich Kerne : das sind 2 CPUs pro Host mit jeweils 8 Kernen, wären dann 16, oder?

Wäre Hyperthreding aktiv dann, zumindest am Papier, 32.

Hast du ne Ahnung weshalb das Hyperthreading auf einem inaktiv ist, obwohl im BIOS aktiv / beim anderen offenbar nach einem Restart deaktiviert wird? Bringt HT auf dem ESXI etwas? (Performance)

Ich habe bzgl Spectre und Meltdown nichts aktiviert. Sofern das also nicht standardmäßig aktiviert wird, sollte es deaktiviert sein. Falls es sich deaktivieren lässt: Ist eine Deaktivierung denn ein sinnvoller Weg, um mehr Performance rauszukitzeln?

LG

Member
Beiträge: 173
Registriert: 03.07.2013, 12:06

Re: massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon mcdaniels » 19.12.2022, 08:33

Hi,
kurzes Update.

htspectre.JPG


Wie von @irix vermutet, ist die Mitigation gegen Spectre&Meltdown akiv. Deshalb ist dann auch HT inaktiv.

Aufgrund dessen, dass die 6.5er Version diesen Fix nicht implementiert hatte (da lange nicht geupdated wurde), gab es das Problem nicht.

Jedenfalls ist die Option jetzt auf false gesetzt. (Vmkernel.boot.HT -> war auf true -> jetzt ist es so eingestellt, wie am Screenshot ersichtlich)

Der notwendige Host-Neustart kann aber leider nicht sofort durchgeführt werden.

Ich hoffe jedenfalls, dass es danach wieder besser läuft.

@irix: Danke für den Tipp!!

Member
Beiträge: 173
Registriert: 03.07.2013, 12:06

Re: massive Performanceprobleme nach Upgrade auf ESXI 7.0.3

Beitragvon mcdaniels » 19.12.2022, 15:46

Übrigens, der Sensor "BEREIT" (Ready) meldet via VSphere-Überwachung noch immer hohe Werte, obwohl ich die vCores / VM reduziert habe. (zwischen 6.000ms und 14.000ms)

Das sollte lt. meiner Info nach bei max.1500 liegen.

overloaded.JPG


Werde dann später (mit Hyperthreading) und ohne die Mitigation testen (nachdem der Host neu gestartet wurde). Bin gespannt, ob das tatsächlich derartige Auswirkungen hat.

So sieht das nachher aus (wahnsinniger Unterschied!!!)
ohne_mitig_mit_ht.JPG


Zurück zu „vSphere 7“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast