Lun´s werden nicht mehr erkannt

[Boomi83]

Guten Morgen zusammen,

ich habe ein großes VMWare Problem in unserer Firma. Aber alles der Reihe nach. Ich habe ein Bladecenter S von IBM mit 3 Bladeserver. Vom internen Bladecenter Storage habe ich 2 Lun´s an alle Bladeserver gemappt. Auf diesen Lun´s liegen die Virtuellen Maschinen. Auf den Bladeservern läuft VMWare 5.1 ESXi.

Das Problem fing am Freitag an das eine Lun nur noch auf einem Bladeserver aktive war, da dachte ich mir ich sollte am Wochenende mal einen kompletten Neustart des Bladecenters machen, was sich im Nachhinein als keine gute Idee erwiesen hat. Seit dem Neustart werden die Lun´s nicht mehr erkannt bzw. kann ich wenn ich im vCenter auf „Speicher hinzufügen“ klicke die Lun´s zwar sehen aber VMWare will die neu Formatieren. Dieses habe ich noch nicht gemacht weil dann ja alle Daten weg wären.

Meine Frage besteht die Hoffnung irgendwie an die Daten auf den Lun´s wieder dranzukommen? Es sieht aus meiner Sicht als wäre die Patitionstabelle des Filesystem defekt.

Da ich in diesem Bereich nicht so firm bin, frage ich euch. Sind auch, auf Grund der Wichtigkeit, auch natürlich bereit professionelle Kostenpflichte Hilfe anzunehmen.

Danke für eure Hilfe

Boomi

[irix]

Wenn es brennt ist Ulli der richtige. Seine Kontaktdaten findest du hier http://www.sanbarrow.com/sickbay.html

Es hindert dich auch keiner bei VMware nen Account aufzumachen mit S1 und zusagen "Production Down". Ohne letzteres passiert bei denen sonst nix am Wochende.

Frage: Werden die LUNs auch an Windows Backupserver gemappt?

Gruss
Joerg

[bla!zilla]

Grundsätzlich solltest du hier an zwei Stellen ansetzen:

- Case bei VMware
- Case bei IBM
- IBM und VMware darüber informieren das auf beiden Seiten ein Case läuft

Du solltest JETZT VMware Support Logs ziehen, bevor wichtige Informationen wegen der Logfile Rotation weg sind.

Werden die LUNs noch an andere Maschinen gemappt? Findest du auf den ersten Blick in den Logfiles /var/logvmkernel oder /var/log/vmkwarning?

[Boomi83]

Hallo,

vielen Dank für eure Antworten.

Die Logdateien habe ich gesichert. Die LUN´s waren nur den Bladeserver auf dem ESXi5.1 laufen gemappt. Ich werde nun den Uli einmal schreiben, anschließend ein Case bei IBM und VMWare eröffnen.

Ich hoffe einer kann mir Helfen. Bin aber für weiter unterstützung sehr Dankbar

Vielen Dank

Boomi

[kastlr]

Hallo,

du kannst ja mal die Logs bereitstellen, dann können wir schon mal reinschauen.
Zusätzlich sind hier mal ein paar Informationen zu dem Thema.
Using the partedUtil command line utility on ESXi and ESX

Gruß,
Ralf

[Boomi83]

Hallo,

natürlich hier sind die Logs.

Bin wohl etwas sehr durch den Wind.

http://appeldorn.eu/download/logs.zip

Gruß
Boomi[/url]

[kastlr]

Hallo Patrick,

bist du dir sicher das die drei Platten sauber durchgereicht werden?

Für mich sieht das so aus, als ob die drei Platten schon auf ein Inquiry nicht mehr sauber reagieren würden, zumindest sehe ich hunderte Meldungen wie diese.
2013-06-02T10:06:20.918Z cpu0:4108)ScsiDeviceIO: 2316: Cmd(0x412400776a80) 0x12, CmdSN 0x12dd from world 0 to dev "naa.600507604e301dff515d36d700000014" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2013-06-02T10:06:20.977Z cpu0:4108)ScsiDeviceIO: 2316: Cmd(0x412400776a80) 0x12, CmdSN 0x12df from world 0 to dev "naa.600507604e301dff5162c1450000001a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2013-06-02T10:06:20.996Z cpu0:4108)ScsiDeviceIO: 2316: Cmd(0x412400776a80) 0x12, CmdSN 0x12e1 from world 0 to dev "naa.600507604e301dff5162c11200000019" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.

Das könnte allerdings auch durch eine "Stale" Reservation verursacht worden, die sollte aber eigentlich durch den Reboot entfernt worden sein.
Allerdings gab es auch mal einen APD (All Path Down) Event, der könnte dazu geführt haben, das eine alte Reservierung hängen geblieben ist.

Du kannst ja mal dein Glück mit folgendem Kommando versuchen.
vmkfstools -L busreset /vmfs/devices/disk/naa.600507604e301dff5162c11200000019

Damit führst du einen BusReset aus, das sollte alle vorhandenen Reservierungen lösen.
Wenn das mit der Reservierung zutrifft müsstest du die Datastores nach einem Rescan wieder mounten können.

Ich glaube eher nicht, das du ein Problem mit der Partition hast, denn wenn du auf ein INQ keine Daten zurückbekommst wird ein READ erst recht fehlschlagen.

Viel Glück,
Ralf

[bla!zilla]

Ich fürchte das hat damit nichts zu tun. Sense Data sagt es schon: 0x5 0x24 0x0 -> INVALID FIELD IN CDB. Wenn man danach sucht findet man relativ schnell einen Link zum IBM Support:

http://www-947.ibm.com/support/entry/po ... gr-5091090

Das trifft also auf die Umgebung zu, hat aber mit dem Problem nichts zu tun. Zu den drei NAA.IDs gibt Logmeldungen aus April 2013. Ich bezweifel irgendwie, dass es sich dabei um die Disks handelt. Drei NAA.IDs passt auch nicht zu den vom TE genannten zwei LUNs. Vielleicht eher etwas in Richtung CD/DVD Laufwerk o.ä.

@ Boomi83

Du hast nicht zufällig irgendwo die NAA.IDs deiner Datastores dokumentiert?

[Boomi83]

@ Ralf
Leider geht der Befehl den du mir gesagt hast nicht:

login as: root
Using keyboard-interactive authentication.
Password:
The time and date of this login have been sent to the system logs.

VMware offers supported, powerful system administration tools. Please
see www.vmware.com/go/sysadmintools for details.

The ESXi Shell can be disabled by an administrative user. See the
vSphere Security documentation for more information.
~ # vmkfstools -L busreset /vmfs/devices/disk/naa.600507604e301dff5162c1120000
19
Could not open /vmfs/devices/disk/naa.600507604e301dff5162c11200000019
Command busreset failed
Error: No such file or directory
~ #

@BlaZilla

Leider habe ich keine Dokumentation dieser NA ID´s

Was meinst du was ich noch machen kann??

Vielen vielen Dank für eure Hilfe, vielleicht kommen wir gemeinsam auf eine Lösung.

Gruß
Boomi

[/quote]

[kastlr]

Hallo Patrick,

da ist mir ein Tippfehler unterlaufen.

Das Kommando lautet
vmkfstools -L busreset /vmfs/devices/disks/naa.600507604e301dff5162c11200000019

Viel Erfolg,
Ralf

[Boomi83]

Hallo Ralf,

ich habe den befehl ausgeführt. Nur leider ohne erfolg.

ich könnte ja die Lun´s wieder hinzufügen. Dort steht auch die NAA ID´s drin. Vielleicht kann damit einer mehr anfangen?



Vielen Dank!

[kastlr]

Hallo Patrick,

mach einfach mal folgendes.

Führe für deinen Adapter erneut einen Rescan durch, dann erscheinen die Aktivitäten und Ergebnisse in den Logs.
Danach sammelst du die Analysedaten ein und stellst Sie uns zur Verfügung.
Collecting diagnostic information for VMware ESX/ESXi using the vSphere Client

Ohne die kompletten Los werden wir kaum weiterkommen.
Und dann wäre es noch hilfreich zu wissen, wie groß deine vermissten Datastores gewesen sind und ob du sie als vmfs3 oder vmfs 5 Version angelegt hast.

Gruß,
Ralf

[Boomi83]

Hallo,

hier sind die Logs http://www.appeldorn.eu/download/logs1.zip

Die Lun´s sind 1TB und 1,5TB Gro0 und war mit VMFS5 Formatiert. Siehe auch Screenshot im vorherigen Posting

Danke!
[/url]

[kastlr]

Hallo Patrick,

laut Logs sieht es wirklich so aus, als wenn die Platten keine gültige GPT Informationen enthalten.

Die Datei partedutil.sh.txt in deiner Logsammulung enthält folgende Information:
Device: /vmfs/devices/disks/naa.600507604e301dff5162c11200000019
Partition table:
unknown
133674 255 63 2147483648

Usable sectors:
Unknown partition table on disk /vmfs/devices/disks/naa.600507604e301dff5162c11200000019

Device: /vmfs/devices/disks/naa.600507604e301dff5162c1450000001a
Partition table:
unknown
200512 255 63 3221225472

Usable sectors:
Unknown partition table on disk /vmfs/devices/disks/naa.600507604e301dff5162c1450000001a

Die Datei localcli_storage-core-device-partition-list.txt enthält folgende Information.
Device Partition Start Sector End Sector Type Size
-------------------------------------------------------------------------------------
naa.600507604e301dff515d36d700000014 0 0 73400320 0 37580963840
naa.600507604e301dff515d36d700000014 1 64 8192 0 4161536
naa.600507604e301dff515d36d700000014 2 1843200 10229760 6 4293918720
naa.600507604e301dff515d36d700000014 3 10229760 73400287 fb 32343309824
naa.600507604e301dff515d36d700000014 5 8224 520192 6 262127616
naa.600507604e301dff515d36d700000014 6 520224 1032192 6 262127616
naa.600507604e301dff515d36d700000014 7 1032224 1257472 fc 115326976
naa.600507604e301dff515d36d700000014 8 1257504 1843200 6 299876352
naa.600507604e301dff5162c1450000001a 0 0 3221225472 0 1649267441664
naa.600507604e301dff5162c11200000019 0 0 2147483648 0 1099511627776

Um die Partitionstabelle wieder herzustellen, mußt du folgende Kommandos auf eigenes Risiko ausführen.

partedutil fixGpt "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019"
partedutil fixGpt "/vmfs/devices/disks/naa.600507604e301dff5162c1450000001a"

Mit partedutil fixGpt wird ein interaktiver Mode gestartet, der dann versucht, eine defekte GPT aus dem auf der Platte vorhandenem Backup wieder herzustellen.
Sofern du beim Anlegen der VMFS Datastores den kompletten Bereich ausgewählt hast sowie es sich hierbei nicht um ein Upgrade eines alten VMFS3 Datastores handelt, sollten auch die folgenden Befehle funktionieren.

partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019" VMFS_1.00TB "1 2048 2147483647 AA31E02A400F11DB9590000C2911D1B8 0"
partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c1450000001a" VMFS_1.50TB "1 2048 3221225471 AA31E02A400F11DB9590000C2911D1B8 0"

Die Werte müßtest du auch im interaktiven Modus angeboten bekommen.

VMware bietet im folgendem Artikel eine Prozedur an, welche die empfohlene Vorgehensweise detailliert beschreibt.
Re-creating a missing VMFS datastore partition in VMware vSphere 5.x

Viel Erfolg,
Ralf

[Boomi83]

Hallo,

leider hat deine Hilfe auch nicht Funktioniert:

~ # partedUtil fixGpt "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019"

FixGpt tries to fix any problems detected in GPT table.
Please ensure that you don't run this on any RDM (Raw Device Mapping) disk.
Are you sure you want to continue (Y/N): y
GPT table not found on disk. Only disk with gpt table is fixed.

Was kann man noch machen???

Gru
Boomi

[kastlr]

Hallo Patrick,

du könntest die anderen zwei Befehle ausführen, die erzeugen dann die fehlenden GPT Einträge.

partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019" VMFS_1.00TB "1 2048 2147483647 AA31E02A400F11DB9590000C2911D1B8 0"
partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c1450000001a" VMFS_1.50TB "1 2048 3221225471 AA31E02A400F11DB9590000C2911D1B8 0"

Viel Erfolg,
Ralf

[Boomi83]

Leider auch kein erfolg

~ # partedUtil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019" VMFS_1.00TB "1 2048 2147483647 AA31E02A400F11DB9590000C2911D1B8 0"
Invalid label VMFS_1.00TB. Supported labels are msdos/gpt

Usage:
Get Partitions : get <diskName>
Set Partitions : set <diskName> ["partNum startSector endSector type attr"]*
Delete Partition : delete <diskName> <partNum>
Resize Partition : resize <diskName> <partNum> <start> <end>
Get Partitions : getptbl <diskName>
Set Partitions : setptbl <diskName> <label> ["partNum startSector endSector type/guid attr"]*
Fix Partition Table : fix <diskName>
Create New Label (all existing data will be lost): mklabel <diskName> <label>
Show commonly used partition type guids : showGuids
Get usable first and last sectors : getUsableSectors <diskName>
Fix GPT Table interactively : fixGpt <diskName>

[kastlr]

Hallo Patrick,

war gestern doch schon zu spät für mich.

Hier die korrekte Syntax
partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c11200000019" gpt "1 2048 2147483647 AA31E02A400F11DB9590000C2911D1B8 0"
partedutil setptbl "/vmfs/devices/disks/naa.600507604e301dff5162c1450000001a" gpt "1 2048 3221225471 AA31E02A400F11DB9590000C2911D1B8 0"

Gruß,
Ralf.

[Boomi83]

Hallo Ralf.

ich hatte grade mit dem VMWare Support gesprochen. Dieser konnte die Patition wiederherstellen. Fragt mich bitte nicht was er wie gemacht hat. Er war mit Hexdump über eine Stunde am werk.

Ich möchte mich bei euch und vorallen bei Ralf, ganz recht Herzlich für eure Hilfe Danken

Super Forum

Gruß
Patrick