VMware Management Service startet nicht mehr

[mp1302]

Hallo zusammen,

ein Kollege und ich hatten heute die glorreiche Idee einen unserer ESX Server einem Katastrophen Test zu unterziehen. Dabei wollten wir herausfinden ob die HA Einstellungen auch wirklich greifen, frei nach dem Motto "Vertrauen ist gut, Kontrolle ist besser".
Also lange Rede kurzer Sinn, HA hat alles gemacht was wir wollten, allerdings kann ich den ESX Server nach dem Booten nicht mehr in den VC integrieren. Hab versucht den mgmt-vmware Dienst über die Konsole zu starten.
In '/var/log/messages' bekomme ich folgende Meldungen:

Mar 20 14:48:31 SERVER watchdog-hostd: PID file /var/run/vmware/watchdog-hostd.PID not found
Mar 20 14:48:32 SERVER watchdog-hostd: [30398] Begin '/usr/sbin/vmware-hostd -u', min-uptime = 60, max-quick-failures = 5, max-total-failures = 1000000
Mar 20 14:48:32 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:48:32 SERVER VMware[init]: [30398] Begin '/usr/sbin/vmware-hostd -u', min-uptime = 60, max-quick-failures = 5, max-total-failures = 1000000
Mar 20 14:48:44 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:48:44 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 12 seconds (quick failure 1)
Mar 20 14:48:44 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:48:45 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:48:57 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:48:57 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 12 seconds (quick failure 2)
Mar 20 14:48:57 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:48:58 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:49:11 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:49:11 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 13 seconds (quick failure 3)
Mar 20 14:49:11 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:49:12 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:49:25 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:49:25 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 13 seconds (quick failure 4)
Mar 20 14:49:25 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:49:26 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:49:38 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:49:39 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 13 seconds (quick failure 5)
Mar 20 14:49:39 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:49:39 SERVER watchdog-hostd: Executing '/usr/sbin/vmware-hostd -u'
Mar 20 14:49:52 SERVER VMware[init]: [1]+ Aborted (core dumped) setsid $CMD
Mar 20 14:49:52 SERVER watchdog-hostd: '/usr/sbin/vmware-hostd -u' exited after 13 seconds (quick failure 6)
Mar 20 14:49:52 SERVER watchdog-hostd: Executing cleanup command '/usr/sbin/vmware-hostd-support'
Mar 20 14:49:53 SERVER watchdog-hostd: End '/usr/sbin/vmware-hostd -u', failure limit reached


Wir verwenden den ESX Server 3.5 U3 und den VC 2.5 U4.

Für eure Hilfe bedanke ich mich schon mal im Voraus.

Gruß
Markus

[Saturnous]

1. Nacktes U3 - ohne patche vom 30.01. ?
2. Ich kenn das er das Verzeichnis /var/core vollschreibt, vielleicht ist dein root prtition einfach voll.

[mp1302]

Hi,

ja es ist ein nacktes U3 ohne Update, da wir den Update Manager noch nicht produktiv haben.

Das / ist zu 76% (1.2GB) voll, eigentlich dürft das nicht zu einem Problem führen.
Hab allerdings festgestellt das einer der FC Adapter keine Volumes mehr sieht und auf DEAD steht.
Kann es möglich sein das dadurch die Konfig nicht mehr stimmt und der Dienst nicht startet, weil er einen Pfad erwartet????????

Grüße

[Saturnous]

Nur weil man paar Zeilen tippen muss verziechted man nicht auf kritische Updates.

Klingt nach Metadatenbank gelockt - wie sah den der Test aus -- MERKE HA schliesst nur die Lücken die man selbst nicht redundant auslegen kann. Das wird bei solchen Tests gerne ignoriert.

[mp1302]

Ok, mit dem Update hast du Recht.

Solche Tests muss ich leider machen, da dass zum Standard gehört, da muss jeder Cluster bei uns durch.

Ich habe den HA so konfiguriert, das ein Server automatisch gestartet bzw. er am Laufen bleiben soll wenn der Host weg ist. Ergo hab ich über das SMB den Server ausgeschaltet.
HA hat alles zu unserer Zufriedenheit gemacht, allerdings auf Kosten es ESX - Servers.
Wie gesagt, der mgmt Dienst startet nicht mehr und ein HBA steht auf DEAD und zeigt somit auch keine Volumes mehr an.
Wenn ich einen esxcfg-rescan mache, dann ist der HBA zwar laut Anzeige READY, allerdings hat sich sonst nichts geändert.

Gruß

[Saturnous]

Ich schätze mal du kommst um einen Reboot nicht drum rum.

VMs von innen ausschalten, vmkload Prozess töten und auf dem anderen neu registrieren.

VC würde ich während der Aktion stoppen.

Was für Storage, FW Version, HBA Typ und Bios ?

Bei Qlogic würde ich mal einen scsi-qlascan auf die proc nodes des Treibers schubsen.

[mp1302]

So, ich hab mich jetzt mit dem VMware Support auseinandergesetzt.
Bei dem HBA war ein FC Kabel geknickt, hab es ausgetauscht und alles funktioniert wieder.

Das Problem mit dem Management Dienst ist auch gelöst. Es lag an der Firewall, wir hatten die service.xml verändert und aus noch ungeklärten Gründen wurde dem ESX Server das zum Verhängnis.
Hab die XML Datei durch ein Original ausgetauscht und jetzt funktioniert auch der Server wieder.
Besser ist es seine Zusätze in eine separate Datei zu schreiben.

Vielen Danke für Deine Hilfe Saturnous!

Gruß
Markus