Seite 1 von 1
Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 08:05
von mcdaniels
Guten Morgen,
Ich habe auf einem ESXI 6.0 eine VM, bei der sich die Snapshots nicht mehr löschen lassen. Im Datastore liegen mehrere vmdks mit Namen webserver-0001.vmdk,webserver-0002.vmdk,webserver-0003.vmdk, ... wobei die webserver.vmdk die größte der VMDKs ist.
Snapshots erstellen, scheint noch zu funktionieren.
die vmwware.log sagt:
Code: Alles auswählen
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDiskTreeFind: Detected node change from 'scsi0:0' to 'scsi0:1'.
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDiskTreeAddFromSnapshot: Trying to add snapshot Webserver2-Snapshot2.vmsn to disk /vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver.vmdk which already has snapshot Webserver2-Snapshot1.vmsn.
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotGenerateDeleteDisks Failed to fetch disk tree: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDeleteNode failed: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: Snapshot_Delete failed: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: VigorTransport_ServerSendResponse opID=a6e248fe seq=33806: Completed Snapshot request.
2019-03-27T06:54:43.317Z| vmx| I125: GuestRpcSendTimedOut: message to toolbox-dnd timed out.Beim Konsolidierungsversuch im ESXI:
Snapshotverwaltung sieht im Moment so aus:
Hättet ihr vlt. ein paar Tipps für mich?
Danke!
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 09:30
von JustMe
One of the disks in this virtual machine is already in use by a virtual machine
Das Wahrscheinlichste erscheint mir, dass eine (Snapshot-)VMDK von Webserver2 noch an der Veeam-Backup-Appliance haengt, z.B. von einem nicht sauber beendeten Backup-Vorgang. Denn die "TEMPORARY"-Snapshots sollten ja eigentlich genau dieses sein: temporary.
Sonst muss man mal muehsam untersuchen, wer (d.h. welcher Host) welche Datei noch mit Beschlag belegt, um dann darauf weiter zu schauen...
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 10:15
von mcdaniels
Hallo,
wie könnte man denn checken, ob eine VMDK noch an Veeam hängt?
LG
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 10:42
von JustMe
Indem man sich die Konfiguration der entsprechenden VM, wo VEEAM drauf ausgefuehrt wird, anschaut...
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 11:12
von mcdaniels
ok, d.h. wir sprechen hier definitiv von einem in Veeam definierten Backupjob. (Veeam läuft auf einer phys. Maschine, das tut aber nichts zur Sache, denke ich).
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 13:19
von Dayworker
Na dann sollte dir doch Veeam ein entsprechendes Log schreiben, weshalb der Snapshot nicht abgeräumt werden konnte.
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 14:20
von irix
Warum sind da 2 gruene Pfeile/Icons in der Snapshotkette?
- Pruefe ob du einen Veeamproxy hast. Das ist die VM welche sich per HotAdd dann die Disks anhaengt
- Pruefe auf der CMD die Snapshotchain
Wenn ich die Fehlermeldung sowie den Screenshot deute koennte man das Gefuehl das da mittendrin jemand einen Snapshot abgezweigt haette. Ich wuerde dann mittels "grep" in allen *.vmx nach dem VMDK Namen suchen.
Gruss
Joerg
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 16:09
von mcdaniels
Irix, "test" ist ein manueller Snapshot von heute. Das ist an sich nicht mein Server, ich soll nur -wenn möglich- helfen. Tut aber nix zur Sache
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:10
von mcdaniels
Hallo,
kein Veeam-Proxy.
Es wurden nun sämtliche Verbindungen zu Veeam gekappt. Festplatte lässt sich noch immer nicht konsolidieren bzw. Snapshots löschen.
Beim Löschversuch der Snapshots bekommt man:
haTask-10-vim.VirtualMachine.removeAllSnapshots-14878
Beschreibung
Entfernen Sie alle Snapshots, die dieser virtuellen Maschine zugeordnet sind.
Virtuelle Maschine:
Webserver2
Zustand
Fehlgeschlagen - Ein allgemeiner Systemfehler ist aufgetreten: vim.fault.GenericVmConfigFault
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:20
von ~thc
Wenn man nur nach der Fehlermeldung sucht, erhält man eine mögliche Lösung:
https://communities.vmware.com/message/2746028#2746028
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:22
von irix
was ich aber in letzter Zeit haeufiger antreffe das Problem das ein bzw. der ESXi auf dem die VM laeuft einen Lock gesetzt hat und sich nun selber sich stoert an diesem.
Wir räumen den Host dann frei und starten ihn neu.
Gruss
Joerg
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:24
von mcdaniels
Grep:
Code: Alles auswählen
cat *.vmx |grep vmdk
scsi0:1.fileName = "Webserver-000005.vmdk"
Snapshotchain:
Code: Alles auswählen
vmkfstools -v10 -q Webserver-000005.vmdk
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000005-delta.vmdk" : open successful (23) size = 570880000, hd = 0. Type 8
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000004-delta.vmdk" : open successful (23) size = 4731629568, hd = 0. Type 8
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000003-delta.vmdk" : open successful (23) size = 3070685184, hd = 0. Type 8
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000002-delta.vmdk" : open successful (23) size = 319221760, hd = 0. Type 8
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-flat.vmdk" : open successful (23) size = 236223201280, hd = 0. Type 3
Webserver-000005.vmdk is not an rdm
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000005-delta.vmdk" : closed.
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000004-delta.vmdk" : closed.
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000003-delta.vmdk" : closed.
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000002-delta.vmdk" : closed.
DISKLIB-VMFS : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-flat.vmdk" : closed.
AIOMGR-S : stat o=5 r=15 w=0 i=0 br=245760 bw=0
OBJLIB-LIB: ObjLib cleanup done.
WORKER: asyncOps=0 maxActiveOps=0 maxPending=0 maxCompleted=0
ls:
Code: Alles auswählen
/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2] ls -alh *.vmdk
-rw------- 1 root root 444.0K Jun 18 2017 Webserver-000001-delta.vmdk
-rw------- 1 root root 322 Jun 18 2017 Webserver-000001.vmdk
-rw------- 1 root root 6.9M Dec 27 19:41 Webserver-000002-ctk.vmdk
-rw------- 1 root root 304.4M Dec 27 19:41 Webserver-000002-delta.vmdk
-rw------- 1 root root 390 Dec 27 19:41 Webserver-000002.vmdk
-rw------- 1 root root 6.9M Feb 24 16:06 Webserver-000003-ctk.vmdk
-rw------- 1 root root 2.9G Feb 24 16:06 Webserver-000003-delta.vmdk
-rw------- 1 root root 397 Dec 27 19:41 Webserver-000003.vmdk
-rw------- 1 root root 6.9M Mar 27 06:53 Webserver-000004-ctk.vmdk
-rw------- 1 root root 4.4G Mar 27 06:53 Webserver-000004-delta.vmdk
-rw------- 1 root root 397 Mar 26 19:48 Webserver-000004.vmdk
-rw------- 1 root root 6.9M Mar 27 18:06 Webserver-000005-ctk.vmdk
-rw------- 1 root root 544.4M Mar 27 18:24 Webserver-000005-delta.vmdk
-rw------- 1 root root 397 Mar 27 18:05 Webserver-000005.vmdk
-rw------- 1 root root 220.0G Dec 27 17:55 Webserver-flat.vmdk
-rw------- 1 root root 499 Dec 7 06:17 Webserver.vmdk
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:32
von irix
Hmmm..... Der Snapshot laeuft seit 1.5 Jahren..... aber die Basis VMDK ist am 27.12 mal angefasst worden. Mich wuerde echt die Snapshotchain interessieren bzw. ob der Webserver-000001.vmdk da ueberhaupt eine Rolle spielt. Ich vermute mal nein.
Gruss
Joerg
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:36
von mcdaniels
@irix: Hab ich die Chain nicht oben gepostet? (etwas falsch gemacht?)
Muss die lockinfo noch nachreichen...
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:39
von irix
Nein das ist der Parameter -e was die Chain angeht. Aber das was du da gelistet hast zeigt der der -000001 garnicht verwendet wird.
Das vmfsfilelockinfo musst du mit jeder einzeln Datei (Descriptor) machen.
Schaltet die VM mal aus....
prueft ob 230GB freier Speicher vorhanden sind
Fuehrt dann alle Dateien in eine neue aktuelle neu.vmdk zusammen welche man dann an die VM anhangt. Wenn Sie bootet mal den anderen krempel loeschen.
Gruss
Joerg
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 19:47
von mcdaniels
Mehrere Locks
Filelockinfo:
Code: Alles auswählen
Looking for lock owners on "Webserver-000002-delta.vmdk"
"Webserver-000002-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']
Looking for lock owners on "Webserver-000003-delta.vmdk"
"Webserver-000003-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']
Looking for lock owners on "Webserver-000004-delta.vmdk"
"Webserver-000004-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']
Looking for lock owners on "Webserver-000005-ctk.vmdk"
"Webserver-000005-ctk.vmdk" is locked in Exclusive mode by host having mac address ['0c:c4:7a:77:38:94']
Looking for lock owners on "Webserver-000005-delta.vmdk"
"Webserver-000005-delta.vmdk" is locked in Exclusive mode by host having mac address ['0c:c4:7a:77:38:94']
Looking for lock owners on "Webserver-flat.vmdk"
"Webserver-flat.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']
Netzwerkinterfaces des ESXI -> vmk0 = die MAC-Adresse die hier sperrt?
Code: Alles auswählen
esxcli network ip interface list
vmk0
Name: vmk0
MAC Address: 0c:c4:7a:77:38:94
Enabled: true
Portset: vSwitch0
Portgroup: Management Network
Netstack Instance: defaultTcpipStack
VDS Name: N/A
VDS UUID: N/A
VDS Port: N/A
VDS Connection: -1
Opaque Network ID: N/A
Opaque Network Type: N/A
External ID: N/A
MTU: 1500
TSO MSS: 65535
Port ID: 33554436
Ok, cloning läuft....
Code: Alles auswählen
vmkfstools -i Webserver-000005.vmdk Webserver_neu.vmdk -d
thin
Destination disk format: VMFS thin-provisioned
Cloning disk 'Webserver-000005.vmdk'...
Clone: 9% done.
Edit: clone ist jetzt wiederauf 0% gesprungen, ich warte mal ab...
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 20:47
von mcdaniels
Hallo,
danke für eure Unterstützung. Das "Klonen" hat funktioniert. Ihr seid spitze!
Ich habe eine komplett neue VM erstellt und die neu erstellte VMDK reingehängt. System ist hochgefahren > Snapshots (logischerweise) clean.
D.h. in so einem Fall ist es am Besten, die VMX Datei nach der vewendeten VMDK zu durchsuchen und diese VMDK dann per vmfkstools in eine neue VMDK zu klonen?
Re: Snapshots lassen sich nicht löschen
Verfasst: 27.03.2019, 20:59
von irix
Localstorage oder SAN?
Wie schon gesagt und wie oben auch gesehen hat der Host da Locks gesetzt was so nicht sein darf. Ein Host Neustart haette auch geholfen.
Gruss
Joerg