Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Snapshots lassen sich nicht löschen

Alles zum Thema vSphere 6, ESXi 6.0 und vCenter Server.

Moderatoren: irix, continuum, Dayworker

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 08:05

Guten Morgen,

Ich habe auf einem ESXI 6.0 eine VM, bei der sich die Snapshots nicht mehr löschen lassen. Im Datastore liegen mehrere vmdks mit Namen webserver-0001.vmdk,webserver-0002.vmdk,webserver-0003.vmdk, ... wobei die webserver.vmdk die größte der VMDKs ist.

Snapshots erstellen, scheint noch zu funktionieren.

die vmwware.log sagt:

Code: Alles auswählen

2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDiskTreeFind: Detected node change from 'scsi0:0' to 'scsi0:1'.
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDiskTreeAddFromSnapshot: Trying to add snapshot Webserver2-Snapshot2.vmsn to disk /vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver.vmdk which already has snapshot Webserver2-Snapshot1.vmsn.
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotGenerateDeleteDisks Failed to fetch disk tree: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: SnapshotDeleteNode failed: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: SNAPSHOT: Snapshot_Delete failed: One of the disks in this virtual machine is already in use by a virtual machine or by a snapshot (21)
2019-03-27T06:54:42.956Z| vmx| I125: VigorTransport_ServerSendResponse opID=a6e248fe seq=33806: Completed Snapshot request.
2019-03-27T06:54:43.317Z| vmx| I125: GuestRpcSendTimedOut: message to toolbox-dnd timed out.


Beim Konsolidierungsversuch im ESXI:
error.jpg


Snapshotverwaltung sieht im Moment so aus:
snapshots.PNG


Hättet ihr vlt. ein paar Tipps für mich?
Danke!

Experte
Beiträge: 1776
Registriert: 04.10.2011, 14:06

Re: Snapshots lassen sich nicht löschen

Beitragvon JustMe » 27.03.2019, 09:30

One of the disks in this virtual machine is already in use by a virtual machine

Das Wahrscheinlichste erscheint mir, dass eine (Snapshot-)VMDK von Webserver2 noch an der Veeam-Backup-Appliance haengt, z.B. von einem nicht sauber beendeten Backup-Vorgang. Denn die "TEMPORARY"-Snapshots sollten ja eigentlich genau dieses sein: temporary.
Sonst muss man mal muehsam untersuchen, wer (d.h. welcher Host) welche Datei noch mit Beschlag belegt, um dann darauf weiter zu schauen...

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 10:15

Hallo,

wie könnte man denn checken, ob eine VMDK noch an Veeam hängt?

LG

Experte
Beiträge: 1776
Registriert: 04.10.2011, 14:06

Re: Snapshots lassen sich nicht löschen

Beitragvon JustMe » 27.03.2019, 10:42

Indem man sich die Konfiguration der entsprechenden VM, wo VEEAM drauf ausgefuehrt wird, anschaut...

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 11:12

:D

ok, d.h. wir sprechen hier definitiv von einem in Veeam definierten Backupjob. (Veeam läuft auf einer phys. Maschine, das tut aber nichts zur Sache, denke ich).

King of the Hill
Beiträge: 13319
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Snapshots lassen sich nicht löschen

Beitragvon Dayworker » 27.03.2019, 13:19

Na dann sollte dir doch Veeam ein entsprechendes Log schreiben, weshalb der Snapshot nicht abgeräumt werden konnte.

King of the Hill
Beiträge: 12556
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Snapshots lassen sich nicht löschen

Beitragvon irix » 27.03.2019, 14:20

Warum sind da 2 gruene Pfeile/Icons in der Snapshotkette?

- Pruefe ob du einen Veeamproxy hast. Das ist die VM welche sich per HotAdd dann die Disks anhaengt
- Pruefe auf der CMD die Snapshotchain

Wenn ich die Fehlermeldung sowie den Screenshot deute koennte man das Gefuehl das da mittendrin jemand einen Snapshot abgezweigt haette. Ich wuerde dann mittels "grep" in allen *.vmx nach dem VMDK Namen suchen.

Gruss
Joerg

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 16:09

Irix, "test" ist ein manueller Snapshot von heute. Das ist an sich nicht mein Server, ich soll nur -wenn möglich- helfen. Tut aber nix zur Sache ;-)

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 19:10

Hallo,
kein Veeam-Proxy.
Es wurden nun sämtliche Verbindungen zu Veeam gekappt. Festplatte lässt sich noch immer nicht konsolidieren bzw. Snapshots löschen.

Beim Löschversuch der Snapshots bekommt man:


haTask-10-vim.VirtualMachine.removeAllSnapshots-14878
Beschreibung

Entfernen Sie alle Snapshots, die dieser virtuellen Maschine zugeordnet sind.
Virtuelle Maschine:

Webserver2
Zustand

Fehlgeschlagen - Ein allgemeiner Systemfehler ist aufgetreten: vim.fault.GenericVmConfigFault

Guru
Beiträge: 2519
Registriert: 23.02.2012, 12:26

Re: Snapshots lassen sich nicht löschen

Beitragvon ~thc » 27.03.2019, 19:20

Wenn man nur nach der Fehlermeldung sucht, erhält man eine mögliche Lösung:
https://communities.vmware.com/message/2746028#2746028

King of the Hill
Beiträge: 12556
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Snapshots lassen sich nicht löschen

Beitragvon irix » 27.03.2019, 19:22

Code: Alles auswählen

grep vmdk *.vmx


Code: Alles auswählen

vmfkstools -e  <DESCRIPTOR>


was ich aber in letzter Zeit haeufiger antreffe das Problem das ein bzw. der ESXi auf dem die VM laeuft einen Lock gesetzt hat und sich nun selber sich stoert an diesem.

Code: Alles auswählen

ls -alh *.vmdk
vmfsfilelockinfo -p <FilePATH>


Wir räumen den Host dann frei und starten ihn neu.

Gruss
Joerg

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 19:24

Grep:

Code: Alles auswählen

 cat *.vmx |grep vmdk
scsi0:1.fileName = "Webserver-000005.vmdk"


Snapshotchain:

Code: Alles auswählen

 vmkfstools -v10 -q Webserver-000005.vmdk
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000005-delta.vmdk" : open successful (23) size = 570880000, hd = 0. Type 8
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000004-delta.vmdk" : open successful (23) size = 4731629568, hd = 0. Type 8
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000003-delta.vmdk" : open successful (23) size = 3070685184, hd = 0. Type 8
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000002-delta.vmdk" : open successful (23) size = 319221760, hd = 0. Type 8
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-flat.vmdk" : open successful (23) size = 236223201280, hd = 0. Type 3
Webserver-000005.vmdk is not an rdm
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000005-delta.vmdk" : closed.
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000004-delta.vmdk" : closed.
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000003-delta.vmdk" : closed.
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-000002-delta.vmdk" : closed.
DISKLIB-VMFS  : "/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2/Webserver-flat.vmdk" : closed.
AIOMGR-S : stat o=5 r=15 w=0 i=0 br=245760 bw=0
OBJLIB-LIB: ObjLib cleanup done.
WORKER: asyncOps=0 maxActiveOps=0 maxPending=0 maxCompleted=0


ls:

Code: Alles auswählen

/vmfs/volumes/59170f49-710c6658-b906-0cc47a773894/Webserver2] ls -alh *.vmdk
-rw-------    1 root     root      444.0K Jun 18  2017 Webserver-000001-delta.vmdk
-rw-------    1 root     root         322 Jun 18  2017 Webserver-000001.vmdk
-rw-------    1 root     root        6.9M Dec 27 19:41 Webserver-000002-ctk.vmdk
-rw-------    1 root     root      304.4M Dec 27 19:41 Webserver-000002-delta.vmdk
-rw-------    1 root     root         390 Dec 27 19:41 Webserver-000002.vmdk
-rw-------    1 root     root        6.9M Feb 24 16:06 Webserver-000003-ctk.vmdk
-rw-------    1 root     root        2.9G Feb 24 16:06 Webserver-000003-delta.vmdk
-rw-------    1 root     root         397 Dec 27 19:41 Webserver-000003.vmdk
-rw-------    1 root     root        6.9M Mar 27 06:53 Webserver-000004-ctk.vmdk
-rw-------    1 root     root        4.4G Mar 27 06:53 Webserver-000004-delta.vmdk
-rw-------    1 root     root         397 Mar 26 19:48 Webserver-000004.vmdk
-rw-------    1 root     root        6.9M Mar 27 18:06 Webserver-000005-ctk.vmdk
-rw-------    1 root     root      544.4M Mar 27 18:24 Webserver-000005-delta.vmdk
-rw-------    1 root     root         397 Mar 27 18:05 Webserver-000005.vmdk
-rw-------    1 root     root      220.0G Dec 27 17:55 Webserver-flat.vmdk
-rw-------    1 root     root         499 Dec  7 06:17 Webserver.vmdk

King of the Hill
Beiträge: 12556
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Snapshots lassen sich nicht löschen

Beitragvon irix » 27.03.2019, 19:32

Hmmm..... Der Snapshot laeuft seit 1.5 Jahren..... aber die Basis VMDK ist am 27.12 mal angefasst worden. Mich wuerde echt die Snapshotchain interessieren bzw. ob der Webserver-000001.vmdk da ueberhaupt eine Rolle spielt. Ich vermute mal nein.

Gruss
Joerg

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 19:36

@irix: Hab ich die Chain nicht oben gepostet? (etwas falsch gemacht?)

Muss die lockinfo noch nachreichen...

King of the Hill
Beiträge: 12556
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Snapshots lassen sich nicht löschen

Beitragvon irix » 27.03.2019, 19:39

Nein das ist der Parameter -e was die Chain angeht. Aber das was du da gelistet hast zeigt der der -000001 garnicht verwendet wird.

Das vmfsfilelockinfo musst du mit jeder einzeln Datei (Descriptor) machen.

Schaltet die VM mal aus....
prueft ob 230GB freier Speicher vorhanden sind

Code: Alles auswählen

vmfkstools -i  Webserver-000005.vmdk neu.vmdk -d thin


Fuehrt dann alle Dateien in eine neue aktuelle neu.vmdk zusammen welche man dann an die VM anhangt. Wenn Sie bootet mal den anderen krempel loeschen.

Gruss
Joerg

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 19:47

Mehrere Locks

Filelockinfo:

Code: Alles auswählen

Looking for lock owners on "Webserver-000002-delta.vmdk"
"Webserver-000002-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']

Looking for lock owners on "Webserver-000003-delta.vmdk"
"Webserver-000003-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']

Looking for lock owners on "Webserver-000004-delta.vmdk"
"Webserver-000004-delta.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']

Looking for lock owners on "Webserver-000005-ctk.vmdk"
"Webserver-000005-ctk.vmdk" is locked in Exclusive mode by host having mac address ['0c:c4:7a:77:38:94']

Looking for lock owners on "Webserver-000005-delta.vmdk"
"Webserver-000005-delta.vmdk" is locked in Exclusive mode by host having mac address ['0c:c4:7a:77:38:94']

Looking for lock owners on "Webserver-flat.vmdk"
"Webserver-flat.vmdk" is locked in Read-Only mode by host having mac address ['0c:c4:7a:77:38:94']



Netzwerkinterfaces des ESXI -> vmk0 = die MAC-Adresse die hier sperrt?

Code: Alles auswählen

 esxcli network ip interface list
vmk0
   Name: vmk0
   MAC Address: 0c:c4:7a:77:38:94
   Enabled: true
   Portset: vSwitch0
   Portgroup: Management Network
   Netstack Instance: defaultTcpipStack
   VDS Name: N/A
   VDS UUID: N/A
   VDS Port: N/A
   VDS Connection: -1
   Opaque Network ID: N/A
   Opaque Network Type: N/A
   External ID: N/A
   MTU: 1500
   TSO MSS: 65535
   Port ID: 33554436


Ok, cloning läuft....

Code: Alles auswählen

vmkfstools -i Webserver-000005.vmdk Webserver_neu.vmdk -d
thin
Destination disk format: VMFS thin-provisioned
Cloning disk 'Webserver-000005.vmdk'...
Clone: 9% done.


Edit: clone ist jetzt wiederauf 0% gesprungen, ich warte mal ab...

Member
Beiträge: 152
Registriert: 03.07.2013, 12:06

Re: Snapshots lassen sich nicht löschen

Beitragvon mcdaniels » 27.03.2019, 20:47

Hallo,
danke für eure Unterstützung. Das "Klonen" hat funktioniert. Ihr seid spitze! :grin:

Ich habe eine komplett neue VM erstellt und die neu erstellte VMDK reingehängt. System ist hochgefahren > Snapshots (logischerweise) clean.

D.h. in so einem Fall ist es am Besten, die VMX Datei nach der vewendeten VMDK zu durchsuchen und diese VMDK dann per vmfkstools in eine neue VMDK zu klonen?

King of the Hill
Beiträge: 12556
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Snapshots lassen sich nicht löschen

Beitragvon irix » 27.03.2019, 20:59

Localstorage oder SAN?

Wie schon gesagt und wie oben auch gesehen hat der Host da Locks gesetzt was so nicht sein darf. Ein Host Neustart haette auch geholfen.

Gruss
Joerg


Zurück zu „vSphere 6.0“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast