VHD zu vmdk konvertieren und komprimieren

[franc]

Hallo
Ich habe eine alte VM in VMware Workstation 12 Pro, die hatte ich von Windows XP erstellt, als VHD (ich glaube mit dem Sysinternals Tool disk2vhd).
Jetzt hab ich die wieder ausgegraben und wollte sie kleiner machen, sie ist 290 GB groß.
VHD kann VMware ja nicht verkleinern, also habe ich versucht sie zu einer vmdk umzuwandeln.
Erst erfolglose mit dem Tool qemu-img: zu wenig Platz auf der Festplatte, daher war das Ergebnis korrupt, aber qemu-img hat das vorher nicht gemeldet, sondern einfach abgeschlossen ohne Fehler.
Dann mit vmware-vdiskmanager.exe, das hat mir (nach ca. 8 h) eine fast ebenso große vmdk geliefert, die zwar lauft, aber sich ganz genauso verhält beim Defrag und Compact, nämlich sofort oder nach paar Sekunden fertig ohne Fehler zu melden oder irgendwas zu verkleinern.
Ich teste nun das Konvertieren mit WinImage, das wird wohl auch wieder einen halben Tag dauern, habe aber wenig Hoffnung, dass das was ändert.

Gibt es da noch eine Möglichkeit, eine von VHD zu vmdk umgewandelte VM-HDD zu verkleinern? In Win XP werden "nur" 200 GB belegt, aber keine fast 300, also wäre viel Platz zu komprimieren. Falls das Komprimieren funktioniert, würde ich noch mehr Platz frei machen. Gibt da nur ein paar große Programme, die ich aufgrund von Altlasten noch behalten will (Visual Studio 6 z.B.)

Ich habe selbiges schon auf adminsitrator.de gepostet:

Virtuelle VHD-Festplatte in VMware - Defragmentierung und Komprimierung

leider dort bisher ohne einschlägige Lösung. Vielleicht weiß hier ja jemand wenigstens, ob es überhaupt nicht geht.
Die VHD ist eigentlich als wachsend eingestellt ("Disk space is not preallocated for this hard disk"), also wohl "thin provisioned":

Graphic_10_03_2020 14_19_49.jpg (21.59 KiB) 12667 mal betrachtet

Danke
franc

VMware Workstation 12.5.9 Pro auf Windows 8.1 (Ent. 64-Bit).

[~thc]

Ich habe jetzt keine genau technische Einsicht in die "Compact"-Funktion der Workstation, aber ich würde mindestens erwarten, dass die intern ungenutzten Bereiche der Festplatte vorher intern mit Nullen überschrieben sein müssen, damit keine Daten gelöscht werden.

[irix]

Was mir so einfallen wuerde...

1. VM nochmal durch den Konverter jagen und anstelle von Image dann File auswaehlen weil dabei kannst du die Volumegroesse angeben und somit verkleinern
2. Acronis oder PartitionMagic oder wie immer die Tools damals hiessen verwenden um die HDD zuclonen und dabei zu resizen.

Gruss
Joerg

[franc]

1. VM nochmal durch den Konverter jagen und anstelle von Image dann File auswaehlen weil dabei kannst du die Volumegroesse angeben und somit verkleinern
...

Mit Konverter meinst du doch vmware-vdiskmanager.exe oder?
Dort finde ich das nicht "File auswählen". Welche von den Optionen meinst du?

Code: Alles auswählen

   -t <disk-type>       : disk type id

Disk types:
    0                   : single growable virtual disk
    1                   : growable virtual disk split in 2GB files
    2                   : preallocated virtual disk
    3                   : preallocated virtual disk split in 2GB files
    4                   : preallocated ESX-type virtual disk
    5                   : compressed disk optimized for streaming
    6                   : thin provisioned virtual disk - ESX 3.x and above

Danke schon mal.

[irix]

Nein ich meine den VMware Converter.

Gruss
Joerg

[franc]

Nein ich meine den VMware Converter.

Hm, habe ich also gleich installiert, den VMware vCenter Converter Standalone 6.2.0.1 von 22 May 2018 | Build 8466193
Allerdings kann ich die XP-VM nicht einlesen, nach einer guten Weile "Retrieving source machine information..." heißt es dann leider:

"Unable to obtain hardware information for the selected machine.":

Ich werde es noch mal mit der konvertierten vmdk probieren, also mit der vmx wo die vmdk (und nicht die VHD) eingebunden ist. Die läuft ja auch.

[franc]

Also mit der vmdk (der zuvor im vmware-vdiskmanager.exe von der VHD konvertierten) scheint es schon mal anzulaufen
Gut der Tipp mit dem (echten) Konverter.
Mal sehen ob es erfolgreich durchlauft...

Hier die verschiedenen Voreinstellungen im Konverter, ich hoffe ich habe es richtig eingestellt:

[franc]

... vermutlich ist das die entscheidende Einstellung gewesen, da konnte ich auswählen, ob unverändert (ca. 280 GB) oder minimal (215 GB), hoffentlich richtig gesetzt:

und dann noch die Zusammenfassung, bevor es los geht:

und es lauft...

in einer Stunde weiß ich mehr.
Allerdings steht es schon seit 11 Minuten unverändert auf 1% und 1h6m Restzeit, was etwas verdächtig ist. Es tut sich also gar nichts.

[franc]

Tja, mit Fehler abgebrochen:

FAILED: An error occurred during the conversion: 'File-level volume clone error failed with sourcevolume id 8*8-8*8-00>7000000000000 and target volume id 8*8-8*8-0000010000000000. Error code:
225'

Das Log:

ConverterDiagnostics20200313130047.zip

(376.96 KiB) 343-mal heruntergeladen

Steht aber n.m.D. auch nicht mehr als obiges.

Ich werde wohl mit der großen VHD leben müssen...

[continuum]

1. Lad dir den Starwind V2Vconverter runter und convertier damit die VHD in eine VMDK.
2. Danach dann die shrink-funktion der vmware-tools anwenden.

[franc]

Leider ist es auch mit StarWind genau das selbe.
Es lasst sich zwar innerhalb eines halben Tages zu vmdk konvertieren, aber danach kann ich es genaus wenig defragmentieren und komprimieren wie das VHD selbst. Ist sofort (bzw. nach 20 Sekunden) fertig und macht gar nichts, wirft auch keinen Fehler.
Ich vermute, ich hätte mittlerweile schneller Windows XP mit den alten Programmen (die ich gerne noch eine Weile erhalten hätte) neu in einer VM aufgesetzt, als alle diese erfolglosen Versuche.
Ich gebe auf.

[Dayworker]

Hast du den Dateityp VMDK mal als Ausnahme in deiner Sec-Suite bzw Viren-Scanner aufgenommen?

[franc]

Hast du den Dateityp VMDK mal als Ausnahme in deiner Sec-Suite bzw Viren-Scanner aufgenommen?

Nein, nicht dass ich wüsste. Aber ich habe keinerlei Einträge dort (Windows Defender, sonst habe ich nichts) und außerdem kann ich andere vmdk HDs wunderbar komprimieren.

Ich hab mir überlegt, ich könnte mit Drive Snapshot in der vm drin ein snapshot image erstellen.
Dabei bin ich über eine Partition (vormals hieß die L:) gestolpert:

In Partition Magic 8:

Die könnte ja die Ursache für die Weigerung zu Komprimieren sein.
Ich hab sie sofort über die Dateiträgerverwaltung gelöscht (davor hieß sie L:), weil eh nichts drin ist, jetzt ist es 100 GB unzugeordneter Platz.
Das war wohl damals beim Herstellen mit reingerutscht, wie auch immer.
Ich weiß aber nicht, wie ich sie entfernen kann.

[Dayworker]

Deine C-Partition von 200GB Grösse ist bereits zu 2/3 gefüllt. Ich würde daher einfach die C-Partition um die unzugeordneten 100GB erweitern.

[continuum]

Den unpartitionierten Platz am Ende kannst du jetzt aber nicht mehr wipen und dadurch kannst du die gesamte vmdk nicht weiter komprimieren.
Ich wuerde die vmdk einmal mit einer LinuxliveCD booten und dann per dd die ersten 250gb in eine neue vmdk umkopieren.
Unter ESXi koennte man sie einfach abschneiden - das geht aber bei Workstation vmdks nicht.

[JustMe]

Aehm, wenn schon PQMagic vorhanden ist, und, zumindest laut erstem Post, auch genuegend Platz auf der Platte, dann sollte doch eigentlich das Anhaengen einer neuen, wachsenden vmdk an die VM mit anschliessendem Kopiervorgang der Partition mit PQMagic ausreichen. Dabei sollten dann unwesentlich mehr als die belegten knapp 190GB bei rauskommen. Danach noch beide Platten von der VM abhaengen (NICHT vom Datentraeger loeschen!), und die neue vmdk als erste Platte wieder dran, booten & schauen. Abschliessend die VHD und eventuelle andere beteiligte, nun ueberfluessige Dateien entfernen.

[franc]

Aehm, wenn schon PQMagic vorhanden ist, und, zumindest laut erstem Post, auch genuegend Platz auf der Platte, dann sollte doch eigentlich das Anhaengen einer neuen, wachsenden vmdk an die VM mit anschliessendem Kopiervorgang der Partition mit PQMagic ausreichen. Dabei sollten dann unwesentlich mehr als die belegten knapp 190GB bei rauskommen. Danach noch beide Platten von der VM abhaengen (NICHT vom Datentraeger loeschen!), und die neue vmdk als erste Platte wieder dran, booten & schauen. Abschliessend die VHD und eventuelle andere beteiligte, nun ueberfluessige Dateien entfernen.

Ich rekapituliere, so weit ich das verstanden habe:

1. ich füge eine neue vmdk hinzu in den Einstellungen > 'Add' > Harddisk (IDE, Mode: not independent, 200 GB as single file, wachsend)
2. in der VM mit Partition Magiq die (vm-)Systemplatte auf die neue kopieren
3. VM runterfahren, die beiden HDs entfernen (Settings > Hardware > Hard Disk / 'Remove')
4. die 2. HDD (als erste) wieder dazu (Settings > Hardware > Hard Disk / 'Add' > (die 2. vmdk auswählen)
5. VM starten und beten

Gesagt getan, leider ist die Option 'Kopieren' nicht aktiviert im Menü, ist ausgegraut. Aber 'Größe ändern' geht, also kann ich die Partitionen zusammenführen (die Hauptplatte und 100 GB unzugeordnet zu einer Platte machen).

Deine C-Partition von 200GB Grösse ist bereits zu 2/3 gefüllt. Ich würde daher einfach die C-Partition um die unzugeordneten 100GB erweitern.

Das ging problemlos und zügig, vorher aber sicherheitshalber ein Snapshot gemacht.
Danach habe ich die VM runter gefahren und immerhin war das Defrag jetzt anders, es kam ein Fortschrittsbalken und der lief zwar zügig durch, ca. 1 Minute, aber immerhin nicht unmittelbar fertig, das ist ein Fortschritt. Hoch fahren tut die VM auch noch.
Compact geht aber immer noch nicht (trotz natürlich gelöschtem Snapshot).

Daher bin ich jetzt dabei das mit Drive Snapshot erstellte Image (der Systemplatte) auf die neue vmdk zu schreiben, also geklont.
Das läuft jetzt voraussichtlich 4 h. Ich hatte schon einen Anlauf, aber da habe ich VMware speichermäßig wohl überlastet (eine 2. VM laufen lassen) und da kam es zu Absturz und ich muss jetzt von vorne anfangen (immerhin war nichts kaputt).
Ich werde berichten wie das klappt...

...Ich wuerde die vmdk einmal mit einer LinuxliveCD booten und dann per dd die ersten 250gb in eine neue vmdk umkopieren...

Werde ich als nächstes dann probieren...

[JustMe]

Dein (Re-)Kapitulation ist an sich schon nicht schlecht, aber die Disk-Parameter (IDE etc.pp.) sind selbstverstaendlich nur dann zutreffend, wenn die JETZIGE aktive erste Platte dieselben Parameter hat (sonst koennte es BSoD 7B geben usw.).

Das mit dem ausgegrauten "Kopieren" in PQMagic duerfte damit zusammenhaengen, dass das die aktive Partition ist beim Ausfuehren von PQMagic; geoeffnete Dateien usw.usf. Sorry, ich hatte gehofft, dass die verwendete Version per VSS oder so, aehnlich wie Drive Snapshot, eine Kopie vom laufenden Windows durchfuehren koennte.

VMware speichermaessig ueberlasten... hm, keine Ahnung, wie so etwas klappen soll. Ausser wenn Du z.B. bei physisch installierten 2GB Hauptspeicher der VM 8GB zuweist oder aehnliche Wahnsinnigkeiten...

Wenn Du sowieso eine Linux LiveCD bootest (eh' die beste Wahl), dann kannst Du auch gleich eine nehmen mit gPartEd drauf. Das kommt Dir dann von PQMagic her sicher bekannt vor, die Windows-Systempartition ist nicht blockiert, und die dd-Jongliererei entfaellt.

[franc]

... aehnlich wie Drive Snapshot, eine Kopie vom laufenden Windows durchfuehren koennte...

Das habe ich soeben gestartet, die vmdk auf die ich im laufenden Windows mit snapshot.exe einen Klon des Systems zurück gespielt hatte:

Im zweiten Anlauf hatte es geklappt, hatte ein paar Stunden gedauert und: TATAAA, es startet!
Musste wg. geänderter Hardware nur mal neu gestartet werden, aber nicht neu aktiviert (ich weiß gar nicht, ob sich XP überhaupt noch aktivieren lasst).
Mit jetzt nur mehr 224 GB Größe

Vorher:

Nachher:

DANKE!

Aber interessanterweise lasst es sich immer noch weder defragmentieren noch compacten
Kann es letztlich an der einen Datei liegen, also dass die vmdk als eine Datei und nicht als viele Dateien vorliegt?

[Dayworker]

Nein, solange du das Sparse- bzw im ESXi das Thinformat nutzt, kannst du die VM problemlos shrinken. Dafür ist aber Defrag die falsche Wahl, weil damit zwar der Inhalt zusammengelegt - positiv - aber jeder Sektor der vDISK mit FF - negativ - überschrieben wird. Für VMware werden diese Festplattenbereiche extern als belegt geführt und können dadurch nicht geshrinkt werden. Unter Windows hast du dann 2 Möglichkeiten, entweder per Sysinternals "sdelete" das Zeroing durchzuführen und dann extern mit dem "vmware-vdiskmanager" die vDISK per Cloning eindampfen oder in der VM bei installierten VMware-Tools das CMD-Script "c:\program files\vmware\vmware tools\vmwaretoolboxcmd.exe disk shrink c:\" durchlaufen lassen.

Die dritte aber auch umständlichste Möglichkeit wäre das eigentlich jedem Windows seit Win2k beiliegende Tool cipher zu nutzen, um alle ungenutzten Plattenbereiche auszunullen. Da das Tools die Platte mehrfach mit verschiedenen Datum überschreibt, müßte man das Tool bei 100% abbrechen und dann extern die Platte wiederum shrinken...

[franc]

... 2 Möglichkeiten, entweder per Sysinternals "sdelete" das Zeroing durchzuführen und dann extern mit dem "vmware-vdiskmanager" die vDISK per Cloning eindampfen ...

Das probiere ich gerade, bin bei 8% ... um 21:01 schon bei 48%...

[irix]

Also wenn ich schon "IDE" als Typ sehe. Wann macht VMware denn sowas?

Gruss
Joerg

[franc]

Also wenn ich schon "IDE" als Typ sehe. Wann macht VMware denn sowas?

Vielleicht weil ich die Festplatte einst mit disk2vhd umgewandelt hatte? Es ist eine Weile her, 2014 war das.
Sollte ich vielleicht eine vmdk mit SCSI hinzufügen und alles (also Rücksicherung mit snapshot.exe) noch mal probieren?

[irix]

Nein, wenn du mal fertig bist dann kannst du den Typ von IDE auf SCSI aendern. Allerdings geht die Welt nicht unter wenn es IDE bleibt, nur hab ich in 12 Jahren ESXi nie mit IDE zu tun gehabt. Die lassen sich z.B nicht im lfd. Betrieb vergroessern.

Gruss
Joerg

[franc]

... 2 Möglichkeiten, entweder per Sysinternals "sdelete" das Zeroing durchzuführen und dann extern mit dem "vmware-vdiskmanager" die vDISK per Cloning eindampfen ...

Das probiere ich gerade, bin bei 8% ... um 21:01 schon bei 48%...

...abends war es dann fertig.
Das sdelete ausnullen hatte zwar funktioniert, aber dann ging das defrag in der VMware Workstation gar nicht mehr (mit Fehlermeldung: "Defragmentation failed: The operation was cancelled by the user" - natürlich stimmt das nicht) und das Compact ist sofort fertig, also unmittelbar (statt wie zuvor erst nach 20 Sekunden), macht also gar nichts. Dafür ist die vmdk jetzt schon 250 GB groß geworden. Nach dem snapshot rücksichern war sie "nur" 220 GB oder so.
Starten lasst sie sich aber jetzt grad auch nicht mehr mit ebenso unsinniger Fehlermeldung: "The operation was cancelled by the user"
Allerdings musste ich zuvor die VMware Workstation abschießen, weil das XP nicht mehr runtergefahren war. Es blieb nach dem Runterfahren ein schwarzer Bildschirm übrig, aber nicht das übliche kleine schwarz-grau geteilte Fenster einer runtergefahrenen VM. Wollte ich die Karteikarte mit der XP-VM schließen oder auch VMware Workstation, hieß es die VM sei busy. Also hatte ich ihr die Nacht lang Zeit gegeben, es war am Morgen aber unverändert, da habe ich VMware mit dem Taskmanager abgeschossen, ging nicht anders.
Das hab ich jetzt davon.
Ich hab sie gelöscht (brauch den Platz dann), ich fang noch mal von vorne an...
Also zuerst mal schalte ich wieder auf die alte 286 GB große vmdk (die von VHD zu vmdk zwar ohne Compactfähigkeit umgewandelte), die startet.
Dort hau ich alles raus, was ich nicht brauch, dann lass ich sdelete -z C: laufen und versuch Compact (erst in der VM, dann bei ausgeschalteter mit dem Kommandozeilentool, dann mit dem Compact Button in der Workstation.
Klappt es nicht, was zu erwarten ist, dann mache ich wieder einen snapshot und sichere auf eine neue vmdk zurück.