2 VMs starten nicht mehr nach Einbau einer zusätzlichen Plat

[drnicolas]

Seit einem Neustart des ESXi gestern bocken 2 VMs beim Starten.
Ich komme leider nicht mehr weiter.

VM1 - Ubuntu 10.04
Der Start der VM endet in der Busybox. Starte ich mit der Live-CD, dann lässt sich das filesystem nicht überprüfen. e2fsck meckert, dass sda2 exclusiv von einem anderen Prozess benutzt wird. Die virtuelle Platte lässt sich weder mounten noch unmounten.
In den Eigenschaften der Platte taucht nur unknown type auf.

VM2 - Windows 2008R2
Auch diese VM startet nicht mehr, möglicherweise ähnliches Problem wie oben.
Starte ich im abgesicherten Modus, dann taucht irgendwann mal nach langer Wartezeit ein BSOD "Stop 0x000000ED" und einem Hinweis "unmountable_boot_device" auf.

Die VM enthält seit jeher 2 virt Fetsplatten ; Nr. 1 ist IDE, Nr.2 SCSI-Knoten 0:0

Pikanterweise kann ich nicht mal mit der CD starten.
Zunächst kommt wie gewohnt "Windows is loading files", dann kommt der grüne Laufbalken und dabei bleibt es.
Später iost dann der Konsolenbildschirm dunkel (siehe uach mein anderes Posting)

Was kann ich tun ?

Ein gerade auf die schnelle aufgesetzte VM kann übrigens die CD normal starten.

[~thc]

Ist das ein Produktiv-Server oder eine private Spielwiese?
Wer hat die neue Platte bekommen? Der Host? Wie sind die Datastores des Hosts angebunden (Chipsatz, RAID-Controller, SAN)?

Was sagt das Ereignisprotokoll des Hosts bzw. das vmkernel.log?
Was steht nach den gescheiterten Boot-Versuchen in dem vmware.log der VMs?

[drnicolas]

Vielen Dank erstmal für die Ideen/Nachfragen.

1. Semi-Produktiv; aber wichtige VM
2. Der Host hat die Platte bekommen
3. neue Platte an Chipsatz
4. Da s Log hat zuletzt folgende EInträge:

2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: irq_stat 0x40000001
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: cmd 60/08:00:f8:a9:8f/00:00:06:00:00/40 tag 0 ncq 4096 in
res 41/40:00:fc:a9:8f/00:00:06:00:00/40 Emask 0x409 (media error) <F>
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: cmd 61/08:08:88:bd:fb/00:00:4b:00:00/40 tag 1 ncq 4096 out
res 41/40:00:ff:a9:8f/00:00:06:00:00/40 Emask 0x9 (media error)
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: cmd 61/01:10:30:bd:9c/00:00:00:00:00/40 tag 2 ncq 512 out
res 41/40:00:ff:a9:8f/00:00:06:00:00/40 Emask 0x9 (media error)
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:25.853Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:25.883Z cpu2:2570)<6>ata4.00: configured for UDMA/133
2013-06-08T05:22:25.883Z cpu2:2570)<6>ata4: EH complete
2013-06-08T05:22:25.883Z cpu1:5242)ScsiDeviceIO: 2331: Cmd(0x4124007f9c80) 0x28, CmdSN 0x1 from world 5362 to dev "t10.ATA_____WDC_WD10EADS2D65M2B0__________________________WD2DWMAV51527524" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x3 0x11 0x4.
2013-06-08T05:22:25.883Z cpu1:5242)ScsiDeviceIO: 2331: Cmd(0x4124007c2f00) 0x2a, CmdSN 0x1 from world 3940 to dev "t10.ATA_____WDC_WD10EADS2D65M2B0__________________________WD2DWMAV51527524" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x3 0x11 0x4.
2013-06-08T05:22:25.883Z cpu1:5242)ScsiDeviceIO: 2331: Cmd(0x4124007b5040) 0x2a, CmdSN 0x39c6 from world 2052 to dev "t10.ATA_____WDC_WD10EADS2D65M2B0__________________________WD2DWMAV51527524" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x3 0x11 0x4.
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: exception Emask 0x0 SAct 0xf SErr 0x0 action 0x0
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: irq_stat 0x40000001
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: cmd 60/01:00:22:25:1c/00:00:00:00:00/40 tag 0 ncq 512 in
res 41/40:00:ff:a9:8f/00:00:06:00:00/40 Emask 0x9 (media error)
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: cmd 60/08:08:f8:a9:8f/00:00:06:00:00/40 tag 1 ncq 4096 in
res 41/40:00:fc:a9:8f/00:00:06:00:00/40 Emask 0x409 (media error) <F>
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: cmd 61/08:10:80:bd:fb/00:00:4b:00:00/40 tag 2 ncq 4096 out
res 41/40:00:ff:a9:8f/00:00:06:00:00/40 Emask 0x9 (media error)
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: error: { UNC }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: cmd 61/01:18:30:bd:9c/00:00:00:00:00/40 tag 3 ncq 512 out
res 41/40:00:ff:a9:8f/00:00:06:00:00/40 Emask 0x9 (media error)
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: status: { DRDY ERR }
2013-06-08T05:22:33.533Z cpu0:2570)<3>ata4.00: error: { UNC }

Diese Einträe weiderholen sich ständig. Ich bin allerdings irritiert, dass als Zeit 5:22 angegeben wird.

Ich habe gerade eben mal nacheinander die beiden virtuellen HDs der bockenden VM an die Testmaschine gehängt:
Die zweite HD (nur Daten) lässt sich problemlos über die W20008 CD lesen und chkdsk

Das gleiche mit der ersten (leider die Systemplatte) geht nicht. die HD wird gar nicht erst erkannt. und auch ein Neustart mit CD misslingt dann.

Wattnu? (Bitte, bitte keinen Tip ala "recover from backup")

[~thc]

Wenn dir neue Platte die "WD2DWMAV" ist, würde ich sie ganz schnell wieder ausbauen, denn mit dieser hat der ESX ein massives Problem:

Valid sense data: 0x3 0x11 0x4:

MEDIUM ERROR
UNRECOVERED READ ERROR - AUTO REALLOCATE FAILED

[Dayworker]

@drnicolas
Bitte, bitte habe mehr Geduld beim Posten auch wenn's aufgrund deiner momentanen Lage sehr schwer fällt. Aber die Foren-SW braucht etwas Zeit bis ein Thread oder Posting erscheint.
Da deine Doppelpostings immer mit zeitlichem Abstand erfolgen, könnte auch ein auf Standardeinstellung belassener Browser-Cache, sprich zu groß, die Ursache sein. Ein Löschen oder zumindest sehr starkes Verkleinern ist anzuraten. Mein Cache beispielsweise ist egal unter welchem Browser immer entweder auf Minimum oder 10MB eingestellt, damit man zumindest den Javascript-Kram nicht immer wieder durch die Leitung zerren muß.
Falls du nur über eine schmale Leitung angebunden bist, gibt es mit Squid einen Caching-Web-Proxy, der mir zumindest in der DSL-Anfangszeit viel Wartezeit ersparte, indem er selbständig den Cache-Inhalt regelmäßig aktualisierte.

[drnicolas]

Leider ist diese Platte die Systemplatte mit ESX und den meisten VMs drauf.

gibt es so eine Art chkdsk in vmware ?
Bei vielen Problemen hilft das Wunder, zumindest bei Windoof-Systemen.

Update: Die Linux-Maschine läuft wieder.
Mit einer speziellen LiveCD liess isch dann doch ein Filesystem-check initieren, der hat Fehler behoben und es fluppt wieder.

Dort (in Linux) lässt sich sogar die Platte der W2008-VM einhängen und alle Daten anschauen. Die Platte ist zumindest lesbar.

Dennoch scheint genau diese virt. HD nachhaltig den Start einer Maschine zu blockieren und zwar auch insoweit, daß die Installations-CD nicht korrekt startet.

[~thc]

Ist denn der Defekt der (ersten?) Platte zufällig mit dem Einbau der zweiten zusammengefallen oder ist die zweite Platte vielleicht doch die Ursache des Problems?

Wenn du als Diagnose die zweite Platte nicht wieder ausbauen willst, würde ich versuchen, die vmdk-Dateien irgendwie zu sichern, solange es noch geht.

[Dayworker]

Wie bereits mehrfach geschrieben, hat VMware bisher kein chkdsk-Pendant veröffentlicht und Recovery-Dienste wie Kroll & Co werden ihre Tools dafür niemals veröffentlichen, da sie sonst ihrer Betriebsgrundlage beraubt würden.

Wenn du auf die Win-VMDK in Linux zugreifen kannst, hat Windows vielleicht nur ein Problem mit der Partitionierung. Hattest du die W2k8-VM mit aktivem GPT sprich UEFI oder normal mit MBR installiert?

[drnicolas]

Nein, die WIn-vmdk war ganz normal mit GPT und MBR installiert.

Ich versuche jetzt erstmal die Daten zu retten.

[Dayworker]

GPT und MBR geht nicht. Wenn du ein OS mit aktivem UEFI sprich GPT unter Windows installiert hast, wird zwar auch ein MBR geschrieben, der mit seinem Eintrag den gesamten Plattenplatz auf "in use" setzt. Dieser hat also lediglich den Zweck, GPT-untaugliche SW davon abzuhalten, das Laufwerk zur repartitionieren und dadurch den GPT zu zerstören.

[Dayworker]

Uff. Das Gröbste scheint erledigt.

Das Hauptproblem war wohl, daß die W2008-VM als DC betroffen war und wohl die NTDS-Datenbank korrupt war.

Letztich gelang die Reparatur mit einer Mixtur aus Linux LiveCD, testdisk ddrescue und mindestens 3 Chkdsk-Läufen.

Dazu noch einige STunden Studium der Lieratur zu ntdsutil - jetzt äuft's wieder.

Ich hatte einen ähnliches Problem vor einigen Monaten schon einmal.

Da habe ich als Ursache das automatische Herunterfahren aller VMs ausgemacht.
Möglicherweise ist das jetzt noch einmal passiert.