Kopieren von Thin Provisioned VMs

[Honk]

Hallo zusammen!

Kennt von Euch jemand das Problem, dass eine Thin-Provisioned VM beim Kopieren auf ein anderes Datastore oder NFS auf die volle Größe anwächst? Also wenn man beispielsweise eine virtuelle Platte mit 100 GB als Thin-Provisioned erstellt und meinetwegen nur 10 GB drauf sind, so kopiert er tatsächlich 100 GB.
Kann man das Problem irgendwie umschiffen?

[irix]

Frage: Wie kopierst du denn?

Gruss
Joerg

[Honk]

Ah sorry, hab ich vergessen hinzuzufügen.
Ganz normal mit dem Datastore-Browser des vSphere-Clients.

[continuum]

du kannst die vmdks mit den vmkfstools kopieren - dann hast du volle Kontrolle ueber das Ergebins.

Bei NFS hilft das aber nicht

[Honk]

Das ist ja immerhin schon etwas, danke!

Kann ich die vmkfstools denn auch in der ESXi 4.1-Konsole verwenden, oder geht das nur über das vSphere CLI?

[irix]

Das ist ja immerhin schon etwas, danke!

Kann ich die vmkfstools denn auch in der ESXi 4.1-Konsole verwenden, oder geht das nur über das vSphere CLI?

Zumind. unter 4.0 gabs die auch in der Busybox darum denke ich das sie nach wievor verfuegbar sind.

Gruss
Joerg

[Honk]

Besten Dank, werd ich mal testen!

[Honk]

Ist es eigentlich auch möglich, mit den vmkfstools Daten zwischen zwei ESXi-Servern hin- und her zu kopieren, oder benötigt man dafür schon das vCenter?

[continuum]

mit den vmkfstools kommt man nur an volumes dran die unter /vmfs/volumes eingebunden sind.

Zum kopieren zwischen zwei ESX ohne zentrales storage wuerde ich FastSCP nehmen

[Honk]

Ah gut zu wissen. Läuft FastSCP denn auch mit der freien ESXi-Version? Ich hab gelesen, dass auf Drängen von VMware solche Programme in der kostenlosen ESXi-Version nicht mehr funktionieren sollen.

[Honk]

Ich hab jetzt mal das Veeam FastSCP heruntergeladen und installiert. Die beiden Test-ESXi 4.1-Systeme konnte ich auch problemlos aufnehmen.
Auf dem einen hab ich eine thin-provisioned VM angelegt (max. 100 GB), die im Datenspeicherbrowserdes vSphere-Clients als Größe auch nur 1,5 GB anzeigt. Unter der bereitgestellten Größe finde ich die 100 GB wieder.

Möchte ich nun die eine VM auf den anderen Server per FastSCP kopieren, so zeigt er sie auch nur als 100 GB-Datei an. Gibt es eine Möglichkeit, sie mit dem Programm auch nur "thin provisioned" zu kopieren?

Danke!

[continuum]

NEIN
thin provision ist ein feature des VMFS dateisystems und eght verloren wenn man auf andere dateisystem kopiert.

Du kannst aber per vmkfstools deine vmdks als 2gbsparse exportieren und auch wieder importieren.
Dieses Format wird auch von Workstation verwendet - und ist aehnlich platzsparend wie thin-provision

[irix]

NEIN
thin provision ist ein feature des VMFS dateisystems ...

Tut aber auch mit dem ein oder anderen NFS Storage.....*gruebel*

Gruss
Joerg

[Tschoergez]

Hi!
1. vmkfstools gibts zumindest beim ESX4.1 im Tech Support Mode (also der Busybox console). Gott sei dank

2. Bei NFS hängts vom NFS-Server ab, was der für ein Format verwendet.
(recherchematerial:
http://communities.vmware.com/thread/224912
http://kb.vmware.com/selfservice/micros ... Id=1005418
http://communities.vmware.com/thread/192847
)

Viele Grüße,
jörg

[Honk]

Hallo!

Erstmal vielen Dank für die Tipps!
Ich habe jetzt mal die vmdk als 2gbsparse exportiert mit folgendem Befehl:
vmkfstools -i Windows\ XP\ Pro.vmdk /vmfs/volumes/datastore1/Export/export.vmdk -d 2gbsparse

Habe dann die Dateien per FastSCP auf den anderen ESXi Host kopiert und daraufhin importiert:
vmkfstools -i export.vmdk /vmfs/volumes/datastore1/Windows\ XP\ Pro/Windows\ XP\ Pro.vmdk

Hat alles wunderbar funktioniert, das einzige was nicht funktioniert hat war, dass der Festplattenspeicherplatz auf der importierten vmdk direkt reserviert wurde (100 GB). Gibt es zum Importieren vielleicht noch einen anderen Befehl? Ich hab zwar schon etwas gesucht, bin nur leider noch auf keine passende Lösung gestoßen.

Alternativ dazu ist die Lösung mit den 2-GB-Dateien ja auch gar nicht so schlecht. Kann man bei der Einrichtung einer virtuellen Maschine schon direkt hingehen und sagen, dass man die Festplatte in diesem "2gbsparse"-Format anlegen möchte? Es scheint ja im Prinzip keinen großen Unterschied zwischen dem thin provisioned und 2gbsparse-Format zu geben, außer, dass man beim Letzteren ein paar Dateien mehr hat. Und man hätte den Vorteil, nicht mehr exportieren zu müssen, sondern könnte direkt per FastSCP hin und her kopieren.

[irix]

Ein ESX(i) Host kann direkt mit einem 2gbsparse nichts anfangen. Das ein vmkfstools dieses Format kennt und entsprechend es verarbeiten kann ist davon losgeloest.

Konvertierungen kann man unter Windows/Linux auch mit dem vmware-diskmanager(.exe) machen.

Gruss
Joerg

[Honk]

Hmm, kann man den diskmanager denn auch direkt unter ESXi verwenden?

Was mich am exportierten 2gbsparse halt gewundert hat, ich konnte unter der neu erstellten Maschine (auf dem zweiten ESXi-Host) diese 2gbsparse-Platte hinzufügen, ohne sie vorher wieder zu importieren. Starten ließ sie sich ebenfalls.
Würde ich also hingehen und mir eine VM erstellen, die vmdk anlegen, mit vmkfstools das Format auf 2gbsparse ändern, auf den anderen Server kopieren und einfach so in eine neue VM einbinden, würde der ESXi damit auch auf Dauer zurechtkommen? Im Datenspeicherbrowser zeigt er mir von den 52 Dateien ja auch nur eine mit der tatsächlichen und maximalen Größe an, ähnlich wie beim thin-provisioning.
Wenn das ginge, müsste man die vmdk ja auch nur anfangs einmal exportieren.

[irix]

Hmm, kann man den diskmanager denn auch direkt unter ESXi verwenden?

Unter ESXi und ESX heist das Programm vmkfstools. Ich habe das Gefuehl wird Reden hier im Kreise .....

Gruss
Joerg

[irix]

..
Was mich am exportierten 2gbsparse halt gewundert hat, ich konnte unter der neu erstellten Maschine (auf dem zweiten ESXi-Host) diese 2gbsparse-Platte hinzufügen, ohne sie vorher wieder zu importieren. Starten ließ sie sich ebenfalls.

Das verwundert mich eigentlich. Das VMFS vertraegt nicht soviele Dateien wir man das von normalen FS herkennt. Hinzu kommt das man eigentlich auch kein Thinprov. oder anwachsende Files haben moechte sofern man nicht ein entsprechenden Monitoring hat. Ein falscher Prozess in der VM/Guest OS und schwupps ist der Platz weg. Gleiches mit offenen Snapshots welche hier einige Monate und im schlimmsten Fall schon Jahre am Laufen hatten. Wenn der Platz erstmal weg ist.... dann tut es weh.

Gruss
Joerg

[continuum]

Es scheint ja im Prinzip keinen großen Unterschied zwischen dem thin provisioned und 2gbsparse-Format zu geben

doch das ist ein Riesenunterschied.

bei dem sparse-format von Workstation und Co - erledigt das Format das auflisten der einzelenen belegten Bloecke selber - das sparse format hat einen Header in dem quasi ein Inhaltsverzeichnis steht.

Diese headerinfos bleiben erhalten wenn man die vmdk wo anders hin kopiert.

Bei VMFS thin provisioning gibt es keinen extra header - kopiert man so eine vmdk zB per winscp auf ein NTFS Dateisystem kann man nachher nicht mehr unterscheiden ob das Original thin oder thick provisioned war

[Honk]

Aber wenn ich eine VM von einem vmfs-Speicher auf einen anderen vmfs-Speicher eines anderen Hosts kopiere, warum geschieht das dann nicht 1 zu 1 ?

Also ist thin provisioning eh nicht besonders sinnvoll, wenn produktiv damit gearbeitet werden soll.

Was mir noch beim Kopiervorgang aufgefallen ist, bzw. schon damals beim 3.5er (zwischen eigenem PC und Server), sind die wahnsinnig geringen Datentransferraten. Ich erreiche hier maximal 5 MB/s, kopieren die beiden Server sonst etwas untereinander, ist auch das 20-fache und mehr drin.
Kopiert ESXi grundsätzlich nur mit SCP, oder woran liegt das?

Danke für Eure Geduld und schonmal ein schönes Wochenende!

[continuum]

wie kopierst du denn ?

kopier per vmkfstools wenn du bestimmen willst was hinten ankommt

[Honk]

Bislang mit FastSCP, also von Server zu Server. Das Programm ist ansich sehr übersichtlich gestaltet, den Kopiervorgang beschleunigt es nur leider nicht.
Ist es denn auch möglich, aus dem Sparse-Format wieder eine thin-provisioned vmdk zu machen?