Houston, wir haben ein Snapshotproblem wegen vollem Datastor

[irix]

So nun ist es hier aus passiert,
VCB hat 3 Tage lang hinterheinander nicht einwandfrei funktioniert was bei der Menge an VMs durchaus mal vorkommt. Es betrifft dann auch meistens die gleichen VMs wo es Probleme gibt.

Was ist passiert..
im Hintergrund sind unbemerkt Snapshot liegengeblieben obwohl der Snapshotmanager nach jeder fehlgeschlagenden kontrolliert wird um im Notfall den VCB_HELPER zuloeschen um dann zugucken ob es beim naechsten Mal klappt.

Nun ist der Datastore vollgelaufen weil die VCB Sicherung der Maschine:
1. 4h dauert
2. innerhalb dieser Zeit unheimlich viel Aktivitaet war, alle 60min ne SQL Sicherung
3. das Monitoring des vCenter 4.0 natuerlich Alarm geschlagen hat ich haber Nachts keine E-Mails lese
4. Die VM abgestuerzt und aus ist. Das hat Nagis gemeldet und ne SMS versand. Da war natuerlich nun schon alles zuspaet

Ich habe dann Platz geschafft und wie gewohnt den VCB_HELPER geloescht und gewundert das nicht soviel Platz da ist wie gedacht. Eine Kontrolle des Verzeichnis zeigt viele Snapthots!

Die VM hat 2 Platten mit 30 und 100GB wobei auf der ersten das System und die wichtigen SQL Daten auf der zweiten liegen.

Code: Alles auswählen

[root@esx-node-02 eagle-srv-02]# ll *.vmdk
-rw-------    1 root     root     16984064 Jun 15 19:05 eagle-srv-02_1-000001-delta.vmdk
-rw-------    1 root     root          264 Jun 19 23:39 eagle-srv-02_1-000001.vmdk
-rw-------    1 root     root     30350190592 Jun 20 09:31 eagle-srv-02_1-000002-delta.vmdk
-rw-------    1 root     root          271 Jun 19 23:39 eagle-srv-02_1-000002.vmdk
-rw-------    1 root     root     33755965440 Jun 20 09:35 eagle-srv-02_1-000003-delta.vmdk
-rw-------    1 root     root          271 Jun 16 17:24 eagle-srv-02_1-000003.vmdk
-rw-------    1 root     root     2114136064 Jun 19 23:38 eagle-srv-02_1-000004-delta.vmdk
-rw-------    1 root     root          245 Jun 19 19:45 eagle-srv-02_1-000004.vmdk
-rw-------    1 root     root     1912809472 Jun 20 00:49 eagle-srv-02_1-000005-delta.vmdk
-rw-------    1 root     root          245 Jun 20 00:49 eagle-srv-02_1-000005.vmdk
-rw-------    1 root     root       206848 Jun 20 00:49 eagle-srv-02_1-000006-delta.vmdk
-rw-------    1 root     root          245 Jun 20 00:49 eagle-srv-02_1-000006.vmdk
-rw-------    1 root     root       206848 Jun 20 10:35 eagle-srv-02_1-000007-delta.vmdk
-rw-------    1 root     root          245 Jun 20 10:35 eagle-srv-02_1-000007.vmdk
-rw-------    1 root     root       206848 Jun 20 11:28 eagle-srv-02_1-000008-delta.vmdk
-rw-------    1 root     root          245 Jun 20 11:28 eagle-srv-02_1-000008.vmdk
-rw-------    1 root     root     107374182400 Jun 15 19:04 eagle-srv-02_1-flat.vmdk
-rw-------    1 root     root          409 Jun 19 23:39 eagle-srv-02_1.vmdk
-rw-------    1 root     root     32212254720 Jun 20 09:26 eagle-srv-02-flat.vmdk
-rw-------    1 root     root          405 Jun 20 11:28 eagle-srv-02.vmdk

Code: Alles auswählen

[root@esx-node-02 eagle-srv-02]# ll *delta.vmdk
-rw-------    1 root     root     16984064 Jun 15 19:05 eagle-srv-02_1-000001-delta.vmdk
-rw-------    1 root     root     30350190592 Jun 20 09:31 eagle-srv-02_1-000002-delta.vmdk
-rw-------    1 root     root     33755965440 Jun 20 09:35 eagle-srv-02_1-000003-delta.vmdk
-rw-------    1 root     root     2114136064 Jun 19 23:38 eagle-srv-02_1-000004-delta.vmdk
-rw-------    1 root     root     1912809472 Jun 20 00:49 eagle-srv-02_1-000005-delta.vmdk
-rw-------    1 root     root       206848 Jun 20 00:49 eagle-srv-02_1-000006-delta.vmdk
-rw-------    1 root     root       206848 Jun 20 10:35 eagle-srv-02_1-000007-delta.vmdk
-rw-------    1 root     root       206848 Jun 20 11:28 eagle-srv-02_1-000008-delta.vmdk

Beim manuellen VCB kommt folgende Meldung:

Code: Alles auswählen

  string(175) "[2009-06-20 11:28:02.859 'App' 11228 error] Acquiring disk lease for snapshot-2115[opene-01-m-001] eagle-srv-02/eagle-srv-02_1-000006.vmdk failed with vmodl.fault.SystemError."
  [77]=>
  string(175) "[2009-06-20 11:28:04.406 'App' 11228 error] Acquiring disk lease for snapshot-2115[opene-01-m-001] eagle-srv-02/eagle-srv-02_1-000006.vmdk failed with vmodl.fault.SystemError."
  [78]=>
  string(54) "[2009-06-20 11:28:04.406 'App' 11228 error] Giving up."
  [79]=>
  string(63) "[2009-06-20 11:28:04.406 'BlockList' 11228 error] System error."
  [80]=>
  string(100) "[2009-06-20 11:28:04.578 'vcbMounter' 11228 error] Error: Failed to open the disk: Unspecified error"
  [81]=>
  string(84) "[2009-06-20 11:28:04.578 'vcbMounter' 11228 error] An error occurred, cleaning up..."
  [82]=>
  string(122) "[2009-06-20 11:28:07.859 'vcbMounter' 11228 warning] Snapshot deletion failed. Attempting to clean up snapshot database..."
  [83]=>
  string(42) "Deleted directory r:\vcbMount/eagle-srv-02"


Wenn man die VM clonen will sagt er :

Code: Alles auswählen

Cannot clone eagle-srv-02: File [opene-01-m-001] eagle-srv-02/eagle-srv-02-000001.vmdk was not found


Muesste im Discriptor nicht normal drinstehen das da Snapshots sind?

Code: Alles auswählen

[root@esx-node-02 eagle-srv-02]# cat eagle-srv-02.vmdk
# Disk DescriptorFile
version=1
CID=f41d272a
parentCID=ffffffff
createType="vmfs"

# Extent description
RW 62914560 VMFS "eagle-srv-02-flat.vmdk"

# The Disk Data Base
#DDB

ddb.toolsVersion = "7303"
ddb.adapterType = "lsilogic"
ddb.geometry.sectors = "63"
ddb.geometry.heads = "255"
ddb.geometry.cylinders = "3916"
ddb.uuid = "60 00 C2 9b 32 1b f2 5f-7b 2e 3c 86 14 d2 08 00"
ddb.virtualHWVersion = "4"

Code: Alles auswählen

[root@esx-node-02 eagle-srv-02]# cat eagle-srv-02_1.vmdk
# Disk DescriptorFile
version=1
CID=6ce59029
parentCID=ffffffff
createType="vmfs"

# Extent description
RW 209715200 VMFS "eagle-srv-02_1-flat.vmdk"

# The Disk Data Base
#DDB

ddb.virtualHWVersion = "4"
ddb.uuid = "60 00 C2 9a e1 e3 a2 f9-7d 01 87 7f 1b b2 9f 3d"
ddb.geometry.cylinders = "13054"
ddb.geometry.heads = "255"
ddb.geometry.sectors = "63"
ddb.adapterType = "lsilogic"
ddb.toolsVersion = "7303"

Da VMware am WE nicht mit uns spricht die Frage an alle wissenden was ist zutun wenn der DS mal vollgelaufen ist bzw. was mit Snapshots zumachen ist welche nicht mehr im Manager erscheinen.

Gruss
Joerg

[irix]

Wenn man die VM starten will dann kommt:

Code: Alles auswählen

Power On virtual machine eagle-srv-02 Cannot open the disk  '/vmfs/volumes/490f139f-bc83a842-cfb6-0015177d-3def/eagle-srv-02/eagle-srv-02_1-000008.vmdk' or one of the snapshot disks it depends on. Reason: Invalid IO Manager error.


Gruss
Joerg

[irix]

Ah ok,
in der VMX steht immer der Name der akt. VMDK, sprich der gerade verwendete Snapshot drinen. In dessen Desriptor wird auf die Parent VMDK verwiesen und so hangelt es sich dann zurueck.

Zumind. das schon mal verstanden.

Gruss
Joerg

[continuum]

Hi
geh mal auf meiner Seite auf die sickbay Abteilung und schick mir einen report wie da beschrieben - dann guck ich mal nach

[continuum]

so wie ich das sehe kannst du die snapshots 6, 7 und 8 entsorgen - ich glaube nicht dass die gebraucht werden

snapshot 2 ist derzeit ein Waisenkind

oh Mann - die ist ganz schoen zerschossen - ich habe ein paar Vorschlaege die wir ausprobieren koennen

[irix]

Ein hoch auf Ulli,
dem Retter und Bezwinger aller VMDKs und verwaisten Snapshots!

Wie haben eine Kopie des ganzen Verzeichnis gemacht und die VM umgenannt damit man gefahrlos Wiederbelebungsversuche machen kann. Parallel dazu ein Backup von letzer Woche eingespielt.

Uli hat die unterbrochende Kette wiederhergestellt und und nach einem registrieren der VM ist diese gestartet und zeige auch den aktuellen Stand. Nun fix heruntergefahren und einen sauberen Clone ohne Anpassungen gemacht.

Gruss
Joerg

ps: nach 2min Suche hab ich auch den Donate Button gefunden

[continuum]

...dem Retter und Bezwinger aller VMDKs und verwaisten Snapshots!

na fuer so einen Spruch stehe ich dann auch gerne Sonntags mal ne Stunde eher auf