HILFE VMFS ist vom FC-Storage verschwunden

[Alveros]

Hallo Zusammen,

heute ist bei uns auf einem FC-Array auf dem ein VMFS lag, das Filesystem verschwunden. Ich habe die Maschinen, die auf dem Storage lagen angehalten und dann war auf einmal das VMFS weg.

Wenn ich auf der LUN ein neues VMFS anlegen möchte, sagt mir der Server, das der Speicher leer ist.

Es greifen 2 Server auf den gleichen Speicher zu und ich habe den Speicher aus einem System enfernt. Löscht er damit den ganzen Speicher??

Ich brauche dringend hilfe.

Gruß
Alveros

[Alveros]

Hallo Zusammen,

ich habe das ganze jetzt nochmal mit einer freien LUN ausprobiert. Wenn ich auf einem Server den Speicher entferne, verliert auch der andere den Speicher. Kann man das irgenwie reparieren?

Ich brauche die Maschinen dringend. Das Filesystem habe ich noch nicht überschrieben.

[greyman]

mein erster Gedanke: Nicht dran spielen, Anruf beim VMWare Support.

[Alveros]

Bin ich der einzige, der diesen Fehler gemacht hat?

Für diese Maschinen haben wir leider noch keinen Support, da die erst etliche Tage laufen. Der eine Server war früher ein VMWare Server und ist vor nicht mal 2 Wochen so umgebaut worden. Der Einkauf wird leider erst dann tätig, wenn der Testzeitraum fast um ist.

Die Daten müssen noch auf dem Filesystem liegen, da auf dem ESXi die VMs weiterliefen, bis ich diese pausiert habe. Während dieser Zeit konnte ich noch Daten auf dem Storage sehen. Sie können also nicht wirklich weg sein. Auch konnte ich Daten vom Storage kopieren. Das habe ich getestet als ich das Storage auf dem anderen Server gelöscht habe, doch leider keine Maschine ganz kopiert, sondern nach 3 GB agebrochen.

Kann mir hier einer noch einen Tip geben, wie ich an die Daten komme? Mir reicht es, wenn ich die Datenfiles an eine andere Stelle kopieren kann um sie dann wieder in die richtige Strucktur zu bringen.

Gruß
Alveros

[tjakob]

Hallo Alveros,

ich hatte diese Woche ein ähnliches Problem, bei einem VMFS Volume im SAN wurde die Partition Table überschrieben, die Daten waren so lange da, wie die VMs liefen.
Sobald man die VMs gestoppt hat, waren die Systeme weg, d.h. das VMX sowie die VMDKs weg. Ein Anruf beim Support offenbarte mir den totalen Verlust der Systeme.
Ich konnte nur ein paar duch ein Backup mit dem Converter retten.
Laut Support gibt es keine Möglichkeit die Partition Table zu restaurieren.

Gruß
Thomas

[Alveros]

Ich bin etwas weiter gekommen, aber eine Frage kann ich aktuell nicht klären.

Kann ich eine Partition auf der VMFS drauf ist, aber vom System nicht als Datastore erkannt wird, irgendwo im filesystem einhängen?

mount -t vmfs /dev/sdd1 /mnt/fcstorage1 mountet den Inhalt von /vmfs unter /mnt/fcstorage1.

[bla!zilla]

Kannst du bitte noch mal genau schildern, was du gemacht hast??

[Alveros]

hallo bla!zilla,

was möchtest du genau hören? Wie ich mein VMFS geschrottet habe, oder wie ich wieder ein VMFS darauf bekommen habe?

Ich war leider gestern und heute bis eben unterwegs und werde auch erst heute abend weiter dazu kommen.

[bla!zilla]

Erstmal würde mich interessieren, was du genau gemacht hast, bevor das VMFS auf einmal weg war.

[Alveros]

Hallo bla!zilla,

Ich habe in der Speicherverwaltung auf Speicher entfernen geklickt. Da ein ESX und ein ESXi die gleiche LUN sahen, wollte ich auf dem ESX den Speicher nicht haben und habe ihn entfernt. Auf dem ESXi liefen die Maschinen weiter und mit fdisk -l habe ich auch die Partitionstabelle gesehen. Nachdem ich die Maschinen pausiert habe und kein Zugriff mehr auf den Speicher durch eine geöffnete Datei bestand, war das Volume weg.

Hast du da einen Tip für mich?

Irgendwie kann man die Partitonstabelle wieder herstellen. Mit Tricks wie andere Partiton in gleicher Größe oder auf gleich großem Speicher erstellen. Den Speicherinhalt sichern und auf gelöschten Volume wiederherstellen.

[bla!zilla]

Habe leider keinen ESX hier, aber wird der Datastor nicht erst gelöscht, wenn er auf dem letzten ESX entfernt wurde??

[Alveros]

Nein leider nicht. Der erste Bereich wird gelöscht, sobald ich das Storage entferne. Wenn dann die letzte Maschine keinen Zugriff auf das Storage, in form von laufenden Maschinen, kopiervorgängen, etc hat, dann ist der Speicher weg.

Ich habe es aber geschafft alle Daten zu retten.

Ich hatte auf dem RAID noch eine LUN mit den gleichen technischen Daten. Gleiche Größe, etc.

Ich habe auf der neuen LUN ein Storage angelegt und mit dd die ersten 20 MB gesichert. Danach habe ich mit dd die LUN auf der die Daten waren auf die neue LUN geschrieben. Zum schluss noch die ersten 20 MB wieder mit dd darauf und die Daten waren wieder da.
Die Daten habe ich erstmal auf ein NFS-Storage kopiert und dann wieder gestartet. Selbst die pausierten Maschinen liefen hinterher wieder weiter.

[greyman]

Meinen Glückwunsch.
Gute Idee.

[Tschoergez]

ja, die Sache mit dd als letzter Versuch ganz nützlich manchmal.

Da gibts auch einen Vortrag von ner VMworld drüber, aber ich hab den link leider nicht auswendig. Wurde aber hier im forum schon mal gespostet, einfach mal suchen...

viele grüße,
jörg

[Alveros]

Das mit den ersten 20 MB habe ich auch von hier.

Die Idee mit dem dd über die ganze LUN kam mir erst nach einem ernsten Gebet.

[eazyAdm]

Hallo,

hatten das Problem auch. Wir haben es wieder in Griff bekommen und konntne bis auf 4 Maschinen alle Retten. Ich habe nun den Store wieder angelegt. Es hielt genau 2 Tage an, jetzt ist die Partitionstabelle wieder überschrieben, einen neue Partition mit EFI GPT Type .....

Ich habe keine ahnung wo das herrührt, ich weis nur das es kein anderes Gerät sein kann, da es ausser VirtualCenter keinen Windows Rechner gibt und dieser kein FC hat.

Ergab sich bei euch neues?

Danke

bye
eazy

[Tschoergez]

EFI GPT Type?
Das riecht verdächtig nach Sachen wie FreeNAS oder openfiler...

Check doch mal, ob NUR ESX Server die Luns präsentiert bekommen, und ob alle ESX das VMFS erkennen, und nicht auf einem das Ding versehentlich als RDM in eine VM gemappt wurde (sollte zwar eigentlich nicht möglich sein, aber eigentlich sollten so dinge wie in diesem Thread auch gar nicht passieren )
Viele Grüße,
Jörg

[JRiether]

Könntest Du bitte die exakten dd Instruktionen, die Du benutzt hast einmal hier posten? Ich wäre sehr daran interessiert.

Grüße,
Jörg

[Dayworker]

EFI GPT Type?
Das riecht verdächtig nach Sachen wie FreeNAS oder openfiler...

Check doch mal, ob NUR ESX Server die Luns präsentiert bekommen, und ob alle ESX das VMFS erkennen, und nicht auf einem das Ding versehentlich als RDM in eine VM gemappt wurde (sollte zwar eigentlich nicht möglich sein, aber eigentlich sollten so dinge wie in diesem Thread auch gar nicht passieren )
Viele Grüße,
Jörg

Nicht unbedingt FreeNAS oä.
EFI soll ja mal der Bios-Ersatz für alle Mainboards werden. Damit wurde auch der Aufbau/Inhalt der Partitionstabelle verändert um auch Partitionen größer 2TB und mehr als 4 Partitionen pro LW ansprechen zu können. Soweit mir bekannt ist (Stand 2007), laufen alle Intel-Macs damit, ansonsten nur x64-Serverboards und einige MSI-Consumerboards.
Im Zusammenhang mit Mac OSX, Boot Camp und OSX auf Windowsrechnern gibts jede Menge Geschriebenes um das Problem der Gültigkeit und Aktualisierung von EFI GPT und den alten MBR.

[eazyAdm]

Moin Männers,

nach langem Suchen und verzweifeln haben wir es gefunden.

Die Lun 3 war mal 2,8 TB gross und wurde von unserem Windows Backupserver verwendet. Die Partition auf der Lun war eine GPT Partition um mehr als 2 TB realisieren zu können.

Nachdem wir den Platz für den ESX Server benötigt haben wurde die LUN in zwei Teile gesplittet 1x 2 TB und 1x der Rest. Somit hatten wir dann Lun 3 und 4. Diese habe ich mit "dd if=/dev/zero of=/dev/sde bs=100M count=20" und "dd if=/dev/zero of=/dev/sdf bs=100M count=20" Partitionstabellen mässig + Puffer überschrieben da sich der Infrastruktur Client geweigert hat wenn ich nur 512Bytes überschrieben habe.

Danach wurde je eine Partition mit dem type fb angelegt und mit vmkfstool formatiert um am Ende zwei neue VM Stores zu haben.

Hat alles super funktioniert, bis die ESX Server einer nach dem anderen die Lun 3 nicht mehr als VMFS erkannt haben. Wir haben an der Stelle schnell gemerkt das die Partitionstabelle nicht mehr stimmt und haben alle VM Gast Systeme mit den ESX Server welche noch darauf zugreiffen konnten weg migriert. Als noch 4 Maschinen darauf lagen ist uns der Store endgültig weggebrochen. Dies Lag daran das die 4 Maschinen ausgeschaltet waren und daher keine Locks mehr im FS hatten. Somit hat der ESX Server das ganze aktualisiert und festegestellt "ooops das ist ja garkein VMFS mehr" und hat das Ding abgehängt.

Wenn wir nun das VMFS wieder erstellt haben war es nur eine Frage der Zeit bis es wieder eine EFI GPT Partition war und das ganze von vorne anfing.

Durch Zufall haben wir dann festgestellt das wir dies mit einem der ESX Server bei einem Reboot Provozieren können. Dadurch hatten wir dann ein Zeitfenster von ca. 3 Minuten in denen das ganze passiert sein muss und haben somit im hostd.log einen Eintrag gefunden welcher beschreibt das er die alte GPT gefunden hat, diese aber gecrasht sei, und er sie daher aus dem Backup recovert. *arg*

Code: Alles auswählen

Error Stream from partedUtil while getting partitions: Warning: /vmfs/devices/disks/vml.0200050000600d0230ffffffff02bd242702203b03533136462d52 contains GPT signatures, indicating that it has a GPT table.  However, it does not have a valid fake msdos partition table, as it should.  Perhaps it was corrupted - possibly by a program that doesn't understand GPT partition tables.  Or perhaps you deleted the GPT table, and are now using an msdos partition table.  Is this a GPT partition table?
The primary GPT table is corrupt, but the backup appears ok, so that will be used.


Somit wäre das ganze geklärt. Nachdem ich mir die WIKIpage dazu angeschaut hatte, war mir auch klar wo er das ganze her hat. Die GPT Partition ist redundant aufgebaut und steht einmal am Anfang und einmal an Ende. Somit hab ich mit meinem DD den Anfang platt gemacht aber das Ende blieb bestehen.
http://de.wikipedia.org/wiki/GUID_Partition_Table

Ich hoffe dass ich dem ein oder anderen hiermit viel Zeit und Ärger erspare.

Vielen Dank an alle die sich an dem Thread beteiligt haben.

bye
eazy

P.S. Wenn Ihr festellt das bei einem VMFS etwas Fauls ist, kopiert alles weg bevor Ihr die letzte Maschine abschaltet. Bzw. legt noch eine Fakemaschine an bei der es egal ist wenn Sie danach weg ist. Denn sobald die letzte Maschine abgeschaltet wird habt ihr keine Chance mehr auf das VMFS zuzugreiffen, somit verliert ihr immer die letzte Maschine.