Performance Charts haben Lücken

[wizraven]

Guten Morgen zusammen,

meine Performance Charts im VI Client weisen Lücken auf. Das heißt, der Graph ist an manchen Stellen unterbrochen.
Das tritt bei allen VMs auf. Wenn ich mir das als "stacked graph" anschaue, sind weiße Balken an den Stellen.
Kennt jemand das Problem und weiß eventuell sogar Abhilfe?

Versionen:

VI Client: Version 2.5.0 Build 119598
VC: Version 2.5.0 Build 104215 German-000
ESX: Version 3.5.0 Build 143128

Grüße aus dem wilden Südwesten
Joachim

[calimero1986]

Rebooten tun deine VMs in dem Zeitraum nicht oder?

mal in den logs schauen ob die vm-tools abschmieren

[wizraven]

Hallo Calimero,

danke für deine Antwort. Ich werde mal mehr Beobachtungen schildern:

Nein, die Maschinen werden im betreffenden Zeitraum nicht rebooted. Ich habe keine
Einträge in den jeweiligen Eventlogs und daher auch keinen Hinweis darauf, daß sich
die vmwaretools abschalten. Ich habe das Gefühl, das ist eine Frage der Darstellung im
VI Client - ist aber nur so ein Bauchgefühl.

Das kommt mehrfach täglich bei ALLEN VMs (ca 20 Stck) vor. Die Lücken im Chart
"Letzter Tag" sind immer 10 Minuten lang und immer von Minute 25 bis Minute 35 ... also
z.B. 16:25 - 16:35 sie treten aber nicht jede Stunde auf ... ca. 5 - 8 Lücken pro Tag ...

Die Lücken im Chart "letzte Woche" sind dagegen genau eine Stunde lang ...

rätselnde Grüße
Joachim

[Tschoergez]

Du hast ein VC, richtig?

Dann schau mal, obs Probleme gibt mit der Verbindung zwischen VC und ESX.

Solche lücken können z.B. auftreten, wenn das VC keine PerformanceStatistiken vom ESX einsammeln kann (wg. netzwerk problemen oder weil der ESX sehr stark ausgelastet ist)

Kommen denn die Lücken auch, wenn Du dich mit dem VI Client direkt mit dem ESX verbindest?

laufen in der Service Console irgendwelche 3rd-party-Agenten? was auffälliges bei 'top' oder 'ps -ef' in der Konsole?

Viele Grüße,
jörg

[wizraven]

Hallo Jörg,

danke für Deine Antwort!

yep, wir haben einen VC und mit dem verbinde ich mich auch in der Regel (solange alles funktioniert).

ein top liefert folgendes Ergebnis ... und sieht für mich unauffällig aus:

12:50:46 up 3 days, 20:42, 1 user, load average: 0.19, 0.09, 0.02
225 processes: 223 sleeping, 2 running, 0 zombie, 0 stopped
CPU states: cpu user nice system irq softirq iowait idle
total 1.0% 0.0% 0.6% 0.0% 0.4% 44.2% 53.8%
Mem: 268552k av, 255444k used, 13108k free, 0k shrd, 24584k buff
189832k actv, 29056k in_d, 2972k in_c
Swap: 1638620k av, 33932k used, 1604688k free 67812k cached

PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME CPU COMMAND
2503 root 15 0 64084 52M 10880 S 0.5 20.0 6:03 0 vmware-hostd
3022 root 15 0 17116 16M 7356 S 0.3 6.3 1:14 0 vpxa
2502 root 15 0 64084 52M 10880 S 0.1 20.0 6:05 0 vmware-hostd
3018 root 15 0 17116 16M 7356 S 0.1 6.3 1:15 0 vpxa
4018 root 5 -10 864 864 560 S < 0.1 0.3 0:33 0 vmkload_app
1 root 15 0 492 484 436 S 0.0 0.1 0:04 0 init
2 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 keventd
3 root 34 19 0 0 0 SWN 0.0 0.0 0:00 0 ksoftirqd/0
6 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 bdflush
4 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 kswapd
5 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 kscand
7 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 kupdated
19 root 15 0 0 0 0 SW 0.0 0.0 0:01 0 vmkmsgd
20 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 vmnixhbd
24 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 vmkdevd
25 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_0
668 root 15 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_1
669 root 16 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_2
728 root 16 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_3
756 root 15 0 0 0 0 SW 0.0 0.0 0:06 0 kjournald
808 root 21 0 0 0 0 SW 0.0 0.0 0:00 0 khubd
945 root 23 0 0 0 0 SW 0.0 0.0 0:00 0 kjournald
946 root 15 0 0 0 0 SW 0.0 0.0 0:02 0 kjournald
1277 root 23 0 0 0 0 SW 0.0 0.0 0:00 0 usb-storage-0
1278 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_4
1281 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 usb-storage-1
1282 root 25 0 0 0 0 SW 0.0 0.0 0:00 0 scsi_eh_5
1845 root 15 0 588 580 500 S 0.0 0.2 0:00 0 syslogd
1849 root 15 0 444 388 384 S 0.0 0.1 0:00 0 klogd
2078 root 19 0 13696 3468 3400 S 0.0 1.2 0:00 0 snmpd
2087 root 15 0 1220 1132 980 S 0.0 0.4 0:00 0 sshd
2141 root 15 0 644 492 392 S 0.0 0.1 0:00 0 vmklogger
2188 root 15 0 768 736 660 S 0.0 0.2 0:00 0 xinetd
2200 root 21 0 13696 3468 3400 S 0.0 1.2 0:00 0 snmpd
2201 root 15 0 13696 3468 3400 S 0.0 1.2 0:00 0 snmpd
2203 root 15 0 13696 3468 3400 S 0.0 1.2 0:00 0 snmpd
2207 ntp 15 0 2548 2548 2196 S 0.0 0.9 0:00 0 ntpd
2216 root 15 0 436 396 380 S 0.0 0.1 0:00 0 gpm
2237 root 25 0 1072 920 916 S 0.0 0.3 0:00 0 vmware-watchdog
2245 root 20 0 50108 39M 1492 S 0.0 14.9 0:01 0 webAccess
2246 root 15 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2247 root 15 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2248 root 25 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2249 root 25 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2258 root 25 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2259 root 25 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2260 root 15 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2261 root 15 0 50108 39M 1492 S 0.0 14.9 0:02 0 webAccess
2262 root 15 0 50108 39M 1492 S 0.0 14.9 0:03 0 webAccess
2263 root 25 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2264 root 15 0 50108 39M 1492 S 0.0 14.9 0:00 0 webAccess
2265 root 15 0 924 640 568 S 0.0 0.2 0:00 0 crond
2276 root 5 -10 828 672 600 S < 0.0 0.2 0:00 0 vmkload_app



ps -ef ergibt:

UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Feb14 ? 00:00:04 init
root 2 1 0 Feb14 ? 00:00:00 [keventd]
root 3 1 0 Feb14 ? 00:00:00 [ksoftirqd/0]
root 6 1 0 Feb14 ? 00:00:00 [bdflush]
root 4 1 0 Feb14 ? 00:00:00 [kswapd]
root 5 1 0 Feb14 ? 00:00:00 [kscand]
root 7 1 0 Feb14 ? 00:00:00 [kupdated]
root 19 1 0 Feb14 ? 00:00:01 [vmkmsgd]
root 20 1 0 Feb14 ? 00:00:00 [vmnixhbd]
root 24 1 0 Feb14 ? 00:00:00 [vmkdevd]
root 25 1 0 Feb14 ? 00:00:00 [scsi_eh_0]
root 668 1 0 Feb14 ? 00:00:00 [scsi_eh_1]
root 669 1 0 Feb14 ? 00:00:00 [scsi_eh_2]
root 728 1 0 Feb14 ? 00:00:00 [scsi_eh_3]
root 756 1 0 Feb14 ? 00:00:06 [kjournald]
root 808 1 0 Feb14 ? 00:00:00 [khubd]
root 945 1 0 Feb14 ? 00:00:00 [kjournald]
root 946 1 0 Feb14 ? 00:00:02 [kjournald]
root 1277 1 0 Feb14 ? 00:00:00 [usb-storage-0]
root 1278 1 0 Feb14 ? 00:00:00 [scsi_eh_4]
root 1281 1 0 Feb14 ? 00:00:00 [usb-storage-1]
root 1282 1 0 Feb14 ? 00:00:00 [scsi_eh_5]
root 1845 1 0 Feb14 ? 00:00:00 syslogd -m 0
root 1849 1 0 Feb14 ? 00:00:00 klogd -x
root 2078 1 0 Feb14 ? 00:00:00 /usr/sbin/snmpd -s -l /dev/null -P /var/run/snmpd -a
root 2087 1 0 Feb14 ? 00:00:00 /usr/sbin/sshd
root 2141 1 0 Feb14 ? 00:00:00 /usr/sbin/vmklogger
root 2188 1 0 Feb14 ? 00:00:00 xinetd -stayalive -pidfile /var/run/xinetd.pid
ntp 2207 1 0 Feb14 ? 00:00:00 ntpd -U ntp -p /var/run/ntpd.pid
root 2216 1 0 Feb14 ? 00:00:00 gpm -t imps2 -m /dev/mouse
root 2237 1 0 Feb14 ? 00:00:00 /bin/sh /usr/bin/vmware-watchdog -s webAccess -u 30 -q 5 /usr/lib/vmware/webAccess/java/jre1.5.0_16/bin/webAcc
root 2245 2237 0 Feb14 ? 00:00:08 /usr/lib/vmware/webAccess/java/jre1.5.0_16/bin/webAccess -server -Xincgc -Djava.util.logging.manager=org.apach
root 2265 1 0 Feb14 ? 00:00:00 crond
root 2276 1 0 Feb14 ? 00:00:00 /usr/lib/vmware/bin/vmkload_app --setsid --sched.group=host/vim/vmkauthd --sched.mem.min=4 --sched.mem.max=12
root 2296 1 0 Feb14 ? 00:00:00 /bin/sh /usr/bin/vmware-watchdog -s hostd -u 60 -q 5 -c /usr/sbin/vmware-hostd-support /usr/sbin/vmware-hostd
root 2298 1 0 Feb14 ? 00:00:00 logger -t VMware[init] -p daemon.err
root 2346 2296 0 Feb14 ? 00:50:03 /usr/lib/vmware/hostd/vmware-hostd /etc/vmware/hostd/config.xml -u
root 2880 1 0 Feb14 ? 00:00:00 /bin/sh /usr/bin/vmware-watchdog -s cimserver -u 60 -q 5 /var/pegasus/bin/cimserver daemon=false
root 2897 2880 0 Feb14 ? 00:09:50 /var/pegasus/bin/cimserver daemon=false
root 2927 1 0 Feb14 ? 00:00:00 /bin/sh /opt/vmware/vpxa/bin/vmware-watchdog -s vpxa -u 30 -q 5 /opt/vmware/vpxa/sbin/vpxa
root 2936 2927 0 Feb14 ? 00:10:55 /opt/vmware/vpxa/vpx/vpxa
root 2964 1 0 Feb14 ? 00:00:00 /bin/sh /usr/bin/vmware-watchdog -s openwsmand -u 60 -q 5 /sbin/openwsmand -d
root 2971 2964 0 Feb14 ? 00:00:00 /sbin/openwsmand -d
root 2974 1 0 Feb14 tty1 00:00:00 /sbin/mingetty tty1
root 2975 1 0 Feb14 tty2 00:00:00 /sbin/mingetty tty2
root 2976 1 0 Feb14 tty3 00:00:00 /sbin/mingetty tty3
root 2977 1 0 Feb14 tty4 00:00:00 /sbin/mingetty tty4
root 2978 1 0 Feb14 tty5 00:00:00 /sbin/mingetty tty5
root 2979 1 0 Feb14 tty6 00:00:00 /sbin/mingetty -f /etc/issue.emergency -l /bin/login.emergency tty6
root 3679 1 0 Feb14 ? 00:00:00 /opt/vmware/aam/bin/ftbb -S/etc/opt/vmware/aam/vmware-sites -R/opt/vmware/aam/config/ftbb.rc
root 3689 3679 0 Feb14 ? 00:00:00 <backbone> -d. -P1:2:50 -S/etc/opt/vmware/aam/vmware-sites
root 3703 1 0 Feb14 ? 00:01:23 /opt/vmware/aam/bin/ftAgent -d vmware
root 3734 3703 0 Feb14 ? 00:00:00 /opt/vmware/aam/bin/ftStateMon
root 3742 3703 0 Feb14 ? 00:00:02 /opt/vmware/aam/bin/ftProcMon -domain vmware
root 3749 3703 0 Feb14 ? 00:00:00 /opt/vmware/aam/bin/ftRuleManager -domain vmware
root 3799 3703 0 Feb14 ? 00:00:00 /opt/vmware/aam/ha/VMap
root 3981 1 0 Feb14 ? 00:00:17 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4018 1 0 Feb14 ? 00:00:34 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4022 1 0 Feb14 ? 00:00:31 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4261 1 0 Feb14 ? 00:00:26 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4298 1 0 Feb14 ? 00:00:19 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4335 1 0 Feb14 ? 00:00:16 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4372 1 0 Feb14 ? 00:00:31 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4375 1 0 Feb14 ? 00:00:33 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4445 1 0 Feb14 ? 00:00:16 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4484 1 0 Feb14 ? 00:00:31 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4487 1 0 Feb14 ? 00:00:35 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4527 1 0 Feb14 ? 00:00:37 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4529 1 0 Feb14 ? 00:00:33 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4535 1 0 Feb14 ? 00:00:33 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 4571 3749 0 Feb14 ? 00:00:00 /opt/vmware/aam/bin/ftPerl /opt/vmware/aam/bin/ftmainrule.pl -domain vmware -a (gaddr=1/6.6[0])
root 4579 3749 0 Feb14 ? 00:00:59 /opt/vmware/aam/bin/ftPerl /opt/vmware/aam/bin/ftmainrule.pl -domain vmware -a (gaddr=1/6.6[0])
root 11405 1 0 Feb14 ? 00:00:28 /usr/lib/vmware/bin/vmkload_app /usr/lib/vmware/bin/vmware-vmx -ssched.group=host/user -# name=VMware ESX Serv
root 20179 2087 0 12:47 ? 00:00:00 sshd: root@pts/0
root 20181 20179 0 12:48 pts/0 00:00:00 -bash
root 20853 20181 0 12:56 pts/0 00:00:00 ps -ef

Wenn ich mich direkt mit einem Server verbinde, sind die Lücken nicht da, wie Du vermutet hattest.

Wie kann ich die Verbindung zwischen VC uns ESX Servern testen? Gibt's was Besseres als ping?

Gruß
Joachim

[Tschoergez]

ok. wenn die lücken direkt auf dem ESX nicht da sind, riechts nach auslastungs oder netzwerkproblemen...
Zeigt denn die Auslastung des ESX was besonderes, was evtl. regelmäßig auftritt? oder zumindest zu den Zeiten, zu denen im VC die lücken auftreten.

(nachdem top nur nen kurzen "echtzeit-snap" der aktuellen auslastung anzeigt, ist das nicht wirklich aussagekräftig, da müsstest Du länger beobachten)

Zeitsynchronisation zwischen ESX und VC passt?

viele grüße
jörg

[wizraven]

Hallo Jörg,

die Auslastung der ESX Server ist sowohl bei der durchschnittlichen CPU Nutzung als
auch bei der Speicherauslastung völlig unauffällig, auch dauerhaft.
Die beiden Schätzchen haben kaum was zu tun...

Der eine Server dümpelt bei CPU 8% und RAM 21% rum
der andere bei 18% CPU und 35% RAM

Dieser Zustand ist fast dauerhaft ... keine Spitzen.

Die Uhrzeiten auf den ESX Servern und dem VC sind synchron.