WebAccess nicht zugänglich

[ZeDoM]

Hallo Community,

ich habe mal wieder ein Problem. Nach einem Stromausfall hat sich bei unserem ESX-Server irgendetwas merkwürdiges ereignet. Und zwar komme ich über PuTTy noch drauf und kann alles managen, auch direkt über die Console vor Ort, jedoch kann das VirtualCenter keine Verbindung mehr zum ESX-Server aufbauen. Genauso der WebAccess über dne Explorer funktioniert nicht mehr. Es kommt jedes mal die Fehlermeldung "503 Service Unavailable" sobald ich auf login geh. Die Website kann jedoch soweit aufgerufen werden, nur unter dme Link https://IPHOST/ui wird dann der Fehler angezeigt, also wo man sich normal einloggt.

Den Dienst vmware-webAccess habe ich restartet, mal gestoppt, reboot und wieder gestartet, allerdings ohne Erfolg.

Solangsam weiß ich nicht mehr weiter. Kann mir jmd. helfen wo man noch danach schauen könnte, bzw. was das genaue Problem ist?

MfG ZeDoM

[passy]

He,

sind beim Bootvorgang irgendwelche Ausgaben ge-promptet? Vielleicht könnte man dort finden, wo der ESX beim Booten was "falsch" macht...

Gruss
P

[ZeDoM]

Nein alles wurde mit [OK] hinter dem Vorgang ergäntzt. Mir ist nichts aufgefallen, wo [FAILED] gestanden hätte.

[passy]

Zur Not kannst du in der SSH Console nochmal mit

Code: Alles auswählen

#dmesg

nachlesen.

[ZeDoM]

hmm ich weiß nicht genau was ich da nachlesen soll.
Der lsitet mir da alles möglichen Hardwarekomponenten auf

[passy]

Hätte ja sein können, dass was Auffälliges dabei ist...

[ZeDoM]

hmm nein also ich erkenne nichts. Der listet mir halt wie gesagt alle Hardwarekomponenten auf. Netzwerkkarten sidn vorhanden, das ist glaube ich auch das wichtigste, bzw. die wichtigste Voraussetzung das webAccess angezeigt werden kann.

ZeDoM

[ZeDoM]

Ich habe mal unter chkconfig --list nachgekuckt. Da wird mir unter vmware-webAccess

alle levels auf off angezeigt, außer lvl3: on
ich habe jetzt einfach mal alle levels auf on gestellt und einen reboot gemacht.

Jetzt nach dem Reboot bau er die Seite gar nicht mehr auf.

EDIT
Okay Seite wird doch aufgebaut aber Service Unavailable


ZeDoM

[Tschoergez]

läuft denn der Tomcat-Dienst auf dem Server?
was sagt denn z.B. top oder ps -ef auf der Console? siehtst Du da irgendwas mit vmware-webAccess?

Oder auch
service vmware-webAccess status

Kannst Du Dich mit dem VI Client mit dem ESX verbinden?

Viele Grüße,
Jörg

[ZeDoM]

mit dem VI kann ich mich nicht mit dem ESX verbinden. Dieser wird als disconnect angezeigt. Wenn ich connecten sage, muss ich die Zugangsdaten eingeben im nächsten Fenster zeigt er mir auch noch, welche vorhandenen VM´s vorhanden sind dann beim Connecten bringt er eine Fehlermeldung dass ein Dienst nicht richtig klaufen würde oder der Server nicht erreichbar wäre.

wenn ich service vmware-webAccess status eingebe dann berichtet er mir: webAccess running...

Der Befehl top spuckt das und noch viel mehr aus:

1192 root 15 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1193 root 25 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1194 root 25 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1195 root 25 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1196 root 25 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1197 root 15 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1198 root 15 0 44420 43M 3164 S 0.0 16.5 0:03 0 webAccess
1199 root 16 0 44420 43M 3164 S 0.0 16.5 0:07 0 webAccess
1200 root 25 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess
1201 root 15 0 44420 43M 3164 S 0.0 16.5 0:00 0 webAccess

Mit dem Befehl ps -ef:

root 1181 1 0 10:51 ? 00:00:00 /bin/sh /usr/bin/vmware-watchdog -s webAccess -u 30 -q 5 /usr/lib/vmware/web

root 1188 1181 0 10:51 ? 00:00:15 /usr/lib/vmware/webAccess/java/jre1.5.0_12/bin/webAccess -server -Xincgc -Dj



Ich hoffe das konnte helfen.

die Levels von vmware-webAccess sind immer noch all von 0 bis 6 auf on.


ZeDoM

[angoletti1]

Na, dann scheint es ja nicht nur am Webaccess zu liegen.
was sagt denn service vmware-vmkauthd status?

[ZeDoM]

VMware VMkernel authorization daemon is running (pid 1231).

ZeDoM

[Tschoergez]

ja, eigentlich schon aus dem ersten Post ersichtlich, wenn das VC auch keine Connectivität herstellen kann.

Dann liegts eher am vmware-authd oder am vmware-hostd (mgmt-vmware in der /etc/init.d)...
Wenn die nicht gehen, geht natürlich auch der webAccess nicht.

Was wundert: anscheinend stürzt der Dienst ab beim Zugriff, und nicht von selber, laut Deiner Beschreibung.

Schau doch mal in die logs unter
/var/log/vmware/hostd bzw vpxa, ob da was auffälliges ist.

HAt sich denn in der Netzwerktopoligie irgendwas geändert seit dem letzen Neustart und dem Stromausfall? Klappen pings, namensauflösung usw...

Viele grüße,
jörg

[angoletti1]

Steht in /var/log/messages was auffälliges drinü?

[ZeDoM]

Was seltsam war, in unserem DNS (in dem die Einträge manuell rausgelöscht werden müssen) war der alte Hostname wieder drin. Sprich der Server war nach dem Stromausfall unter 2 Hostnamen erreichbar, obwohl nach der Namensänderung dieser aus dem DNS (forward/reverse-Zone) gelöscht wurde.




Das sind die Einträge aus der messages:

Jul 21 08:52:02 snmpd[1043]: VmomiClient::Init: :Host address lookup for server localhost failed: Unknown host
Jul 21 08:52:02 snmpd[1043]: Could not init vmomi client to vmware-hostd.
Jul 21 08:52:02 snmpd[1043]: SNMPSystemGetProdInfo: Could not acquire vmomi client to vmware-hostd.
Jul 21 08:52:02 snmpd[1043]: [%1 '
Jul 21 08:52:02 snmpd[1043]: 2008-07-21 08:52:02.557
Jul 21 08:52:02 snmpd[1043]: '
Jul 21 08:52:02 snmpd[1043]: '
Jul 21 08:52:02 snmpd[1043]: SNMP
Jul 21 08:52:02 snmpd[1043]: ' %1 %2]
Jul 21 08:52:02 snmpd[1043]: %1 %2]
Jul 21 08:52:02 snmpd[1043]: 3076466112
Jul 21 08:52:02 snmpd[1043]: %2]
Jul 21 08:52:02 snmpd[1043]: info
Jul 21 08:52:02 snmpd[1043]: ]
Jul 21 08:52:02 snmpd[1043]:
Jul 21 08:52:02 snmpd[1043]: Disconnect: not connected.


ZeDoM

[ZeDoM]

hier noch etwas, habe dafür ziemlich lange nach unten scrollen müssen:


Jul 22 09:59:59 snmpd[1043]: VmomiClient::Init: :Host address lookup for server localhost failed: Unknown host
Jul 22 09:59:59 snmpd[1043]: Could not init vmomi client to vmware-hostd.
Jul 22 09:59:59 snmpd[1043]: SNMPSystemGetProdInfo: Could not acquire vmomi client to vmware-hostd.
Jul 22 10:14:44 sshd[20302]: Connection from 10.XX.X.X port 2544
Jul 22 10:15:02 sshd(pam_unix)[20302]: authentication failure; logname= uid=0 euid=0 tty=NODEVssh ruser= rhost=10.XX.X.X user=root
Jul 22 10:15:02 sshd[20302]: pam_krb5: authenticate error: Cannot resolve network address for KDC in requested realm (-1765328164)
Jul 22 10:15:02 sshd[20302]: pam_krb5: authentication fails for `root'
Jul 22 10:15:05 sshd[20302]: Failed password for root from 10.XX.X.X port 2544 ssh2
Jul 22 10:15:13 sshd[20302]: pam_krb5: authenticate error: Cannot resolve network address for KDC in requested realm (-1765328164)
Jul 22 10:15:13 sshd[20302]: pam_krb5: authentication fails for `root'
Jul 22 10:15:15 sshd[20302]: Failed password for root from 10.XX.X.X port 2544 ssh2
Jul 22 10:15:17 sshd(pam_unix)[20302]: 1 more authentication failure; logname= uid=0 euid=0 tty=NODEVssh ruser= rhost=10.XX.X.X user=root
Jul 22 10:15:21 sshd[20388]: Connection from 10.XX.X.X port 2547
Jul 22 10:15:26 sshd[20388]: Accepted password for root from 10.XX.X.X port 2547 ssh2
Jul 22 10:15:26 sshd(pam_unix)[20388]: session opened for user root by (uid=0)
Jul 22 10:16:07 watchdog-webAccess: Terminating watchdog with PID 1181
Jul 22 10:16:07 watchdog-webAccess: [1181] Signal received: exiting the watchdog
Jul 22 10:16:26 watchdog-webAccess: PID file /var/run/vmware/watchdog-webAccess.PID not found
Jul 22 10:16:26 watchdog-webAccess: [20651] Begin '/usr/lib/vmware/webAccess/java/jre1.5.0_12/bin/webAccess -server -Xincgc -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.endorsed.dirs=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/common/endorsed -classpath /usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/bin/bootstrap.jar:/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/bin/commons-logging-api.jar -Dcatalina.base=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25 -Dcatalina.home=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25 -Djava.io.tmpdir=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/temp org.apache.catalina.startup.Bootstrap start', min-uptime = 30, max-quick-failures = 5, max-total-failures = 1000000
Jul 22 10:16:26 watchdog-webAccess: Executing '/usr/lib/vmware/webAccess/java/jre1.5.0_12/bin/webAccess -server -Xincgc -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.endorsed.dirs=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/common/endorsed -classpath /usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/bin/bootstrap.jar:/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/bin/commons-logging-api.jar -Dcatalina.base=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25 -Dcatalina.home=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25 -Djava.io.tmpdir=/usr/lib/vmware/webAccess/tomcat/apache-tomcat-5.5.25/temp org.apache.catalina.startup.Bootstrap start'
Jul 22 10:52:04 snmpd[1043]: [%1 '
Jul 22 10:52:04 snmpd[1043]: 2008-07-22 10:52:04.877
Jul 22 10:52:04 snmpd[1043]: '
Jul 22 10:52:04 snmpd[1043]: '
Jul 22 10:52:04 snmpd[1043]: SNMP
Jul 22 10:52:04 snmpd[1043]: ' %1 %2]
Jul 22 10:52:04 snmpd[1043]: %1 %2]
Jul 22 10:52:04 snmpd[1043]: 3076466112
Jul 22 10:52:04 snmpd[1043]: %2]
Jul 22 10:52:04 snmpd[1043]: info
Jul 22 10:52:04 snmpd[1043]: ]
Jul 22 10:52:04 snmpd[1043]:
Jul 22 10:52:04 snmpd[1043]: Disconnect: not connected.

[Tschoergez]

habt ihr authentifizierung über ne AD-Anbindung? (sieht in den logs irgendwie danach aus).

Stimmt der DC noch? Stimmen die Systemzeiten auf den Servern?

[ZeDoM]

Nein Am ESX wird sich mit root, bzw. den bei der Isntallation angegebenen Accounts angemeldet.
Der ESX-Server hat den Suffix angehängt bekommen und wurde manuell dem WINS-Server eingetragen, um außerhalb des ESX-Servers überhaupt anpingbar zu sein.

Der ESX-Server ist KEIN MItglied in einer Domäne.

[ZeDoM]

keiner mehr eine Idee ?

ZeDoM

[angoletti1]

Versuchs doch mal mit dem Support von VMware. Wenn die sich bei dir drauf schalten ist das wesentlich einfacher als eine Ferndiagnose.

[ZeDoM]

Ich denke nicht, dass die etwas unternehmen werden, da 1. es sich hierbei um eine 60-Tage Testversion handelt und 2. alle Ports, bis auf 80 und 443 geblockt werden von unserer Firewall.

Mir wird wahrscheinlich nichts anderes übrig bleiben als eine Neuinstallation.

ZeDoM

[angoletti1]

Webex geht doch über Port 80, wäre also nicht das Problem. Wie es mit der Testversion aussieht, kann ich dir nicht sagen.

[Tschoergez]

Den logeinträgen nach könnte es auch ein Problem mit der Namensauflösung sein.

Check doch mal auf dem ESX die Einträge in
/etc/hosts /etc/resolv.conf und die Ausgaben von
hostname -f
hostname
hostname -s

ping www.google.de oder so...

Wie war das denn mit den Namensänderungen / DNS-Änderungen, was wurde wo verändert? Und wann, vor oder nach dem reboot?


Viele Grüße,
Jörg