VM's mit 2 VCPU's laufen nicht mehr

[ziczac]

Hallo Zusammen,

bei uns laufen 3 IBM xSeries445 mit jeweils 10 GB RAM und 4 Xeon 3.0 GHz Prozessoren. Auf allen 3 gibt es identische ESX 2.5.1 Installationen. Nun ist bei einem Server das /var Verzeichnis vollgelaufen und der Server hat aufgegeben. Inzwischen wurde sowohl Linux als auch VM neu aufgesetzt - mit dem seltsamen Effekt, dass nun alle Maschinen mit 2 VCPU's nicht mehr starten. Noch seltsamer ist, dass dieser Effekt bereits vor der Neuinstallation auftrat - nur wusste man da noch nicht, dass es nur Maschinen mit 2 VCPU betrifft.
Hat jemand eine Idee was hier faul sein könnte? Wir sind mit unserem Latein am Ende
Hoffnungsvolle Grüße

Tino

[stgepopp]

Hallo Tino,

das hatte ich bei einem Kunden auch mal. Prüf mal, wieviele CPUn der vmkernel noch sieht (# cat /proc/vmware/cpu). Evtl. ist dein Server abgestürzt, hat alle CPUn (bis auf eine) disabled und durch die Selbstheilungsmechanismen wieder neu gestartet (Das ist tatsächlich so: z.B. IBM ASR).

Erich

[ziczac]

Hallo Erich,

wie kann ich das genau feststellen? Das von Dir genannte Verzeichnis gibt es auf unserem Server nicht

Gibt es dort eine Konfigurationsdatei und wie lese ich die ?

Viele Grüße

Tino

[stgepopp]

Sorry!

heisst natürlich /proc/vmware/cpuinfo

Dort siehst du für jede Logische CPU 1 Spalte (wenn's ok ist) sonst nur 1 Spalte.

Erich

[ziczac]

Bin kein Linuxcrack aber auch vielleicht einfach nur zu doof - aber die Datei ist leer:

[root@SSV01 vm]# cd /proc/vmware
[root@SSV01 vmware]# ll
total 0
dr-xr-xr-x 2 root root 0 Nov 7 09:36 NUMA
dr-xr-xr-x 2 root root 0 Nov 7 09:36 buddy
-rw-r--r-- 1 root root 0 Nov 7 09:36 chipset
dr-xr-xr-x 12 root root 0 Nov 7 09:36 config
-rw-r--r-- 1 root root 0 Nov 7 09:36 cpuinfo
-rw-r--r-- 1 root root 0 Nov 7 09:36 debug
dr-xr-xr-x 3 root root 0 Nov 7 09:36 filters
dr-xr-xr-x 9 root root 0 Nov 7 09:36 images
-rw-r--r-- 1 root root 0 Nov 7 09:36 interrupts
-rw-r--r-- 1 root root 0 Nov 7 09:36 intr-tracker

Gruß
Tino

[joe.hidden]

natürlisch ist die "leer"

ist ja nur ein virtuelles file.

mach mal einen cat dadrauf. die dateine unter proc haben es nämlisch ansich, das sie erst biem zugriff mit leben gefüllt werden.

[ziczac]

@ joe.hidden: Danke für den freundlichen Hinweis - hat funktioniert!

Leider werden dort aber alle log. CPU's korrekt angezeigt. Schade - wäre zu schön gewesen.
Also neues Spiel, neues Glück - hat jemand noch Ideen?

Gruß

Tino

[joe.hidden]

jetzt muss ich mal ganz dumm fragen:

ist deine SMP-Lizenz überhaupt noch gültig, aktiv, eingetragen?

[ziczac]

Ja - Lizenzen sind einwandfrei!!

Ich habe jetzt noch ein wenig intensiver getestet und einen direkten Zusammenhang zwischen Anzahl der CPU's und Größe des RAM in der VM festgestellt. VM's mit 2 CPU's laufen bis exakt 1024 MB RAM einwandfrei. Bei >=1028 MB startet die VM nicht mehr.
Konfiguriert man die VM dagegen nur mit einer CPU kann man bis zur VMware Höchstgrenze (3,6 GB ?) RAM zuweisen und das Maschinchen brummt.

Nun weiß ich gar nicht mehr weiter

[joe.hidden]

das hört sich ja seltsam an.....

steht irgendwas in den log-dateien (der VM oder des ESX)?

ein schuss ins blaue:
vorschlag: mach mal die VMWare Swap FILE größer, ändert das was?

[dalo]

Wenn du vom RAM schreibst kommt mir in den Sinn dass wir mal bei einem x445 eine unstabile Situation hatten als das Memory nicht ausgeglichen auf den Knoten verteilt war.
Mach doch mal: # cat /proc/vmware/NUMA/hardware

[ziczac]

Das ist das Ergebnis - sieht eigentlich ganz ok aus........


[root@SSV01 root]# cat /proc/vmware/NUMA/hardware
System type : IBM x445-compatible
# NUMA Nodes : 2
Total memory : 10240 MB
Node ID MachineMem ManagedMem CPUs
0 00 5120 MB 4567 MB 0 1 2 3
1 01 5120 MB 5057 MB 4 5 6 7

[joe.hidden]

ja, sieht nicht verkehrt aus....

teste mal:

bis welcher memory-größe läuft die vm auf den proz 0-3 und wie siehts bei 4-7 aus? gibt es da unterschiede?

[ziczac]

.... wie kann ich das steuern, welche VM auf welchen VCPU's läuft ?

Gruß

Tino

[joe.hidden]

mui unter CPU (edit) run on processors:.......

einfach an/ausklicken

[Tovaco]

doch noch´n gedanken:

hast du die vms auf bestimmte NUMA-Nodes eingeschränkt ?
cat /proc/vmware/vm/***/mem/affinity

ist deine summer aller vm-ram >= installiert.RAM ?

ist die summe aller max-vm-ram - min-vm-ram >= swap-space ?

ist der swap aktiv ?

grüße thorsten

[ziczac]

ja, sieht nicht verkehrt aus....

teste mal:

bis welcher memory-größe läuft die vm auf den proz 0-3 und wie siehts bei 4-7 aus? gibt es da unterschiede?

Das war ein super Tipp! Also folgendes passiert: VM's mit 2 Prozessoren laufen nur mit RAM über 1 GB, wenn man ihnen z.B. von 4 CPU's nur 2 CPU's zuordnet, oder mit Hyperthreading dann 4 von 8.
Das macht die Fehlersuche zwar nicht einfacher, aber grenzt sie zumindest mal viel enger ein. Sieht mir fast wie ein Bug in VMware aus - zumal ich IBM jetzt 2 Tage zum Hardware tauschen verdonnert habe und xSeries-seitig nun alles rund läuft.
Nach wie vor rätselhaft bleibt, warum die gleiche Konfiguration auf den anderen beiden (identischen) xSeries läuft??

Das Spiel geht also weiter......

Gruß
Tino

[joe.hidden]

das sieht mir jetzt schon nach einer problemstellung im Hardware/hardwareparameterbereich aus.

Ich fürchte NUMA-seitig ist da was schief.

grundsätzlich gilt: auf einer NUMA-Hardware werden proz und ram "partitioniert". also ist es in der umgebung schlecht wein eine 2vcpu maschine partitionsübergreifend läuft. so schelchtg das die aussage "das geht nicht" als zutreffend eingestuft werden kann (auch wenn es in wirklichkeit gehen würde).

also sorgt vmware dafür, das seine solche maschine nur komplett (also mit beiden vcpus) die partition wechselt.

soweit das vorwort.

jetzt kommt die hauptsache: startest du eine vm sucht vmware die partition mit den niedrigeren Resourcen (RAM) und prüft ob die maschine hier luffähig WÄRE. ist dem nicht so gibts eine meldung (passt es, wird die VM aber auf der Partiton mit den höheren resourcen gestartet). Warum macht VMware das? um sicherzustellen das in JEDEM FALL in JEDER Partiton paltz wäre die maschine zu betreiben. denn im laufenden betreib wird die VM die partiton im bedarfsfall wechseln.

hast du jetzt eine unbalancierte NUMA Situation kann es zu solchen, von dir beschriebenen, problemen kommen.

Fazit: NUMA Einstellungen und Hardware prüfen

in persönlicher Kommentar (=eigene Meinung) dazu:
ich halte NUMA für vmware-behindernd. Mir ist aber klar das moderne Systemarchiktetur derzeit nicht an NUMA vorbeikommt, wenn die gesamtperformance noch einigermassen übr die prozessorzahl skalierbar sein soll. jedoch hoffe ich auf zukünftige architekturen die wieder weg von Partitionierten Systemen geht, ohne die derzeitig auftretenden performanceeinschränkungen solcher "flachen" Systeme .

Noch ein hinweis in eigener sache:
Es mag sein das meine Ausführungen nicht korrekt sind. Es stellt meinen derzeitger Wissenstand bezüglich der Funktion von VMware dar. Weiss es einer Besser so bin ich an einem Update sehr interessiert.

[ziczac]

So - nachdem nun die unterschiedlichsten Lösungsansätze auf den Tisch gekommen sind (Danke an Alle !!), war nun doch letztendlich ein Defekt an einer CPU ausschlaggebend.
Auf die richtige Spur führte mich der Tipp von joe.hidden, doch mal die einzelnen CPU's durchzutesten....
Aber auch alle anderen Hinweise waren für mich sehr wertvoll - also Dank nochmal.....

Gruß

Tino