VM verursacht hohe CPU Last ~ 100% SYS

[xoxxoxuatl]

Hallo zusammen,
Wir haben hier ein Performanceproblem mit einem Mailsystem welcher sich auf einer VM befindet. Und zwar verbraucht die VM nache zu alle 8xCPU Ressourcen für System.

Tasks: 969 total, 34 running, 935 sleeping, 0 stopped, 0 zombie
Cpu0 : 1.6%us, 97.8%sy, 0.3%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 3.5%us, 95.2%sy, 0.0%ni, 1.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 1.6%us, 98.4%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 4.1%us, 94.0%sy, 0.6%ni, 1.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 3.1%us, 95.3%sy, 0.3%ni, 1.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 1.6%us, 97.8%sy, 0.0%ni, 0.6%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu6 : 2.5%us, 94.3%sy, 0.3%ni, 0.0%id, 0.9%wa, 0.3%hi, 1.6%si, 0.0%st
Cpu7 : 3.2%us, 91.8%sy, 0.9%ni, 0.6%id, 0.0%wa, 0.9%hi, 2.5%si, 0.0%st
Mem: 12470904k total, 8533888k used, 3937016k free, 496928k buffers
Swap: 2048248k total, 41584k used, 2006664k free, 4069060k cached

VMWare Tools Version: $buildNr = '8.3.2 build-257589';
Es handelt sich hierbei um ein RHEL 5.5 mit 2.6.18-194.el5PAE Kernel.

Danke Tom

[continuum]

bloede Frage - wieso gibst du einer VM 8 CPUs ?

poste mal ein vmware.log der VM bei http://ifile.it

[PeterDA]

Hallo Tom,
ein paar wenige Infos sind das!

Wie ist die VM den ausgestattet?
Was verbraucht in der VM den soviel Leistung?


Gruß Peter

[xoxxoxuatl]

Nun die VM läuft auf einem IBM Blade mit 2 Quad core mit insgesamt 24 GHz.
...
model name : Intel(R) Xeon(R) CPU E5450 @ 3.00GHz
stepping : 10
cpu MHz : 3000.106
cache size : 6144 KB
...
Speicher haben wir ihr 12 GB zugewiesen.
Das System ist über SAN angebunden und liegt auf einer Netapp.

Es läuft ein Mailsystem von Scalix mit ~ 1500 Mailboxen auf dem Server, wovon zeitgleich etwa 1000 aktiv sind.

Vermute dass es Schreibaktionen (Löschen von Mails, Routing, etc.) sind welche die VM so auslasten.

Wir hatten zuerst 4 CPUs dem Server zugewiesen, aber die reichten nicht aus: CPU-Zeit war im SYS und WAIT. Dann war die Idee mehr CPUs einzusetzen um die vielen parallelen Prozesse besser zu bedienen.

vmware.log
Oct 17 11:03:58.754: vmx| Log for VMware ESX Server pid=101266 version=3.5.0 build=build-213532 option=Release
Oct 17 11:03:58.821: vmx| Hostname=exhv1108.leoni.local
Oct 17 11:03:58.821: vmx| Command line: "/usr/lib/vmware/bin/vmware-vmx" "-ssched.group=host/user/pool3" "-#" "name=VMware ESX Server;version=3.5.0;licensename=VMware ESX Server;licenseversion=2.0 build-213532;" "-@" "pipe=/tmp/vmhsdaemon-0/vmx4be5907f85a87c5f;" "/vmfs/volumes/4bdfe430-7e637c35-2423-00215e227caa/LXHV1M01/LXHV1M01.vmx"
Oct 17 11:03:59.424: vmx| UI Connecting to pipe '/tmp/vmhsdaemon-0/vmx4be5907f85a87c5f' with user '(null)'
Oct 17 11:03:59.575: vmx| Sig_Init already initialized
Oct 17 11:03:59.700: vmx| CPUID[0] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[0] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[0] level 00000001, 0: 0x0001067a 0x00040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[0] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[0] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[0] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[1] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[1] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[1] level 00000001, 0: 0x0001067a 0x01040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[1] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[1] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[1] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[2] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[2] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[2] level 00000001, 0: 0x0001067a 0x02040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[2] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[2] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[2] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[3] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[3] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[3] level 00000001, 0: 0x0001067a 0x03040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[3] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[3] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[3] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[4] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[4] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[4] level 00000001, 0: 0x0001067a 0x04040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[4] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[4] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[4] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[5] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[5] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[5] level 00000001, 0: 0x0001067a 0x05040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[5] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[5] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[5] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[6] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[6] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[6] level 00000001, 0: 0x0001067a 0x06040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[6] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[6] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[6] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[7] vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| CPUID[7] level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| CPUID[7] level 00000001, 0: 0x0001067a 0x07040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| CPUID[7] level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID[7] level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| CPUID[7] level 80000008, 0: 0x00003026 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| hostCPUID vendor: GenuntelineI
Oct 17 11:03:59.701: vmx| hostCPUID level 00000000, 0: 0x0000000d 0x756e6547 0x6c65746e 0x49656e69
Oct 17 11:03:59.701: vmx| hostCPUID level 00000001, 0: 0x0001067a 0x00040800 0x040ce3bd 0xbfebfbff
Oct 17 11:03:59.701: vmx| hostCPUID level 80000000, 0: 0x80000008 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| hostCPUID level 80000001, 0: 0x00000000 0x00000000 0x00000001 0x20000000
Oct 17 11:03:59.701: vmx| hostCPUID level 80000008, 0: 0x00003024 0x00000000 0x00000000 0x00000000
Oct 17 11:03:59.701: vmx| CPUID Maximum Physical Address Bits supported across all CPUs: 38
Oct 17 11:03:59.797: vmx| Setup symlink /var/run/vmware/af06300fb974c2326ebf5acd7a209e68 -> /var/run/vmware/root_0/1287306238843493_101266
Oct 17 11:03:59.800: vmx| ACL_InitCapabilities: current IPC thread
Oct 17 11:03:59.800: vmx| ACL_InitCapabilities: done
Oct 17 11:03:59.941: vmx| changing directory to /vmfs/volumes/4bdfe430-7e637c35-2423-00215e227caa/LXHV1M01/.
Oct 17 11:03:59.942: vmx| Config file: /vmfs/volumes/4bdfe430-7e637c35-2423-00215e227caa/LXHV1M01/LXHV1M01.vmx
Oct 17 11:04:00.105: vmx| DISKLIB-VMFS : "/vmfs/volumes/4bdfe430-7e637c35-2423-00215e227caa/LXHV1M01/LXHV1M01-flat.vmdk" : open successful (23) size = 26843545600, hd = 0. Type 3
Oct 17 11:04:00.145: vmx| DISKLIB-VMFS : "/vmfs/volumes/4bdfe430-7e637c35-2423-00215e227caa/LXHV1M01/LXHV1M01-flat.vmdk" : closed.
Oct 17 11:04:00.180: vmx| DISKLIB-VMFS : "/vmfs/volumes/4bdfea5b-d01660aa-7c07-00215e227caa/LXHV1M01/LXHV1M01-flat.vmdk" : open successful (23) size = 266287972352, hd = 0. Type 3
Oct 17 11:04:00.180: vmx| DISKLIB-VMFS : "/vmfs/volumes/4bdfea5b-d01660aa-7c07-00215e227caa/LXHV1M01/LXHV1M01-flat.vmdk" : closed.

[Tschoergez]

Hi!
Die Anzeige IN der VM sieht danach aus, als würden die Scalix prozesse die kompletten acht vCPUs der VM auslasten => das hat nix mit VMware zu tun.
Welche Prozesse erzeugen denn die Last in der VM?

Nachdem Dein ESX aber nur 8 Kerne hat, ist es eher kontraproduktiv, eine VM mit 8 vCPUs zu betreiben
(google nach vsphere cpu scheduling, da gibts ein whitepaper von VMware).

Läuft denn der Scalix mit 8 CPUs schneller als mit 4?
Geht ein "Scale-out" anstatt des "scale-up" ( also lieber ne zweite kleinere Scalix-VM bauene und die Hälfte der Mailboxen darauf setzen, wenns der Scalix unterstützt)?

Viele Grüße,
jörg

[xoxxoxuatl]

Nabend,
Es sind unix.in und ual.remote processe (Routing und User Prozesse), laut top.
Ich fand nur die nahezu 100% SYS seltsam, und dachte es wäre vielleicht ein VM-Treiber Problem.

Das mit der Skalierung war uns bewußt.
Hätten aber nicht erwartet, dass es über 50% sind.

Das mit dem "Scale-out" war auch unsere Idee, aber das geht bei dem System nur manuell (Export-Import).

- Tom

[Tschoergez]

Wenn Du ein Problem mit Treibern/vmware-tools vermutest: Support-Call bei VMware aufmachen!

(Oder mal in ner Testumgebung mit den verschiedenen NIC und/oder SCSI-Emulationen in den VM-Einstellungen spielen, vmware-tools weglassen/ohne NIC und/oder scsi-treiber installieren usw.)

Was nutzt Ihr denn zur Authentifizierung? (ein google nach ual.remote zeigt, dass da wohl mehrere Probleme mit haben)

viele grüße,
jörg

[xoxxoxuatl]

LÖSUNG:
Der unix.in Prozess der Scalix Software hat manche Mails in 1 Byte Schritten geschrieben:
...
write(14, "6", 1) = 1
write(14, ".", 1) = 1
write(14, "3", 1) = 1
write(14, "5", 1) = 1
write(14, "m", 1) = 1
write(14, "m", 1) = 1
write(14, "\"", 1) = 1
write(14, " ", 1) = 1
write(14, "c", 1) = 1
...

Nachdem diese "abgearbeitet" wurden hat sich die Load normalisiert.

Danke für Eure Hilfe
Thomas

[Tschoergez]

Gut, wenns klappt!
Noch besser, wenn VMware (wie meist) unschuldig war!
Und noch besser, dass Du die Lösung gepostet hast, vllt. hilfts ja jemand anderem in Zukunft!
Danke