Exportieren von *.dsk Files unter ESX 2.1 mit Redo File

[mkunkler]

Hi,
Kann mir jemand die Funktionsweise beim exportieren von VM´s mit Redo-File erklären.
Zurzeit fahre ich via Skript die VM´s runter, mache ein Export vmkfstools –e und starte die VM´s anschließend wieder.

Ich habe mir auch mal das Skript VMBK.pl angesehen, leider habe ich damit zwei Probleme, ich bekomme es nicht hin einzelne VM´s zu exportieren, zum andern läuft der Export nur mit VM´s die offline sind.

Wer hat Tipps für mich?
Michael

[Shraven]

Grundlegend sollte das so funktionieren:
Du erstellst für dein .dsk File ein REDO-log (mittels vmware-cmd <config_datei> addredo scsi0:0
wobei config_datei der komplette pfad zur Konfigdatei der VM ist, die gesichert werden soll und scsi0:0 die Platte angibt, die du um ein REDO-log erweitern willst. Das .dsk file wird jetzt nicht mehr von der VM verändert, alle Änderungen werden stattdessen ins REDO-log geschrieben. Du kannst also jetzt wie gehabt das .dsk File sichern/exportieren/was auch immer.
Wenn du damit fertig bist, musst du die in der Zwischenzeit erfolgten Änderungen (die ja jetzt im REDO-log stehen) ins .dsk File übernehmen. das geht mit dem "commit" Befehl (vmware-cmd <config_datei> commit scsi0:0). Je nach dem, wie groß das REDO-log in der Zwischenzeit geworden ist, dauert das etwas und die VM "hängt" in dieser Zeit, was aber sicher nicht so schlimm ist, da du ja bisher die VM immer komplett runtergefahren hast, was sicher zu einer längeren Downtime geführt hat.

[mkunkler]

Danke für die Erklärung soweit.
Ich habe das Redo File angelegt das funktioniert nun ganz gut.
Hast Du schon Erfahrung mit VMBK2 Skript? ich frage mich wie man mit diesem Skript einzelne VM´s exportieren kann.
Das schöne an diesem Skript finde ich, dass ich die dsk File gleich via ftp auf einem Server ablegen kann.

[Shraven]

Sorry, aber ich beschäftige mich im Rahmen meiner Diplomarbeit auch erst seit 4 Wochen mit dem Thema...

[mkunkler]

Ich habe das dsk File der laufenden VM auf eine EXT3 Partition kopiert, soweit so gut .
Wenn ich jetzt vmware-cmd <configfile der laufenden VM> commit <kopie des VM dskFile auf EXT3 Partition> ENTER

absetze kommt bei mir eine Fehlermeldung von einem PerlSkript, läuft also nicht durch.

Hast Du mir noch einen Tipp?

[Shraven]

Wenn ich das richtig verstehe, verpasst du dem .dsk file ein REDO-log, kopierst dann das .dsk file auf eine ext3 Partition und willst anschließend das REDO-log an diese Datei "committen"?
Ich glaub, das wird nicht funktionieren, da du bei dem commit Befehl ja ein SCSI Device angeben musst und keine einzelne Datei. Auch weiß ich nicht, ob das Committen auf ext3 Partitionen klappt... Aber wie gesagt, bin auch noch nicht so lange dabei...

[mkunkler]

Genau so hatte ich mir das vorgestellt, bin selbst ein ESX Neuling
Wie funktioniert das bei Dir?
Gruß Michael

[Shraven]

Naja, ich bin bisher eigentlich nur am "herumspielen", also mal alles mögliche am ausprobieren.
Zum Thema Backup gefällt mir am besten folgende Lösung:
- REDO-Log hinzufügen
- .dsk exportieren (in Workstation/GSX kompatibles Format, Vorteil: kleinere Dateien, da mit Nullen aufgefüllter Platz in der .dsk Datei abgeschnitten wird) mit dem Befehl: vmkfstools -e <ziel> <quelle> wobei <ziel> z.B. deine ext3 Partition ist und <quelle> deine .dsk Datei (z.B. /vmfs/vmdisks/abc.dsk)

So erhält man ein Backup der .dsk zu dem Zeitpunkt, als man "addredo" befohlen hat, welches aber nicht so groß ist, wie die .dsk Datei.
Zurückspielen des Backups geht so:
vmkfstools -i <quelle> <ziel>
also z.B.
vmkfstools -i /home/backup.vmdk /vmfs/vmdisks/abc.dsk

Dabei ist zu beachten, daß beim Exportieren evtl. (bzw. sehr wahrscheinlich) mehrere .vmdk Dateien erzeugt werden. Die abc.vmdk enthält dabei die Beschreibung, woraus die virtuelle Disk besteht (abc-001.vmdk, abc-002.vmdk, etc.). Beim Rückspielen (importieren) muss dann diese Beschreibungsdatei angegeben werden.

Aber du hast mich auch eine Idee gebracht, vielleicht ist es ja möglich, einmal die .dsk zu sichern (in voller Größe, also nicht exportieren) und später immer nur das REDO-log an diese zu committen. Dazu müsste man die ursprüngliche Platte nach dem sichern als undoable lassen, so daß alle Änderungen ins REDO-Log kommen. Dieses dann zur backup.dsk kopieren und committen. Macht allerdings nur Sinn, wenn sich in der VM nicht viel tut, da sonst das REDO-Log zu groß wird... Naja, mal probieren, ob das geht :wink:

[mkunkler]

Ich dachte das ist gerade der Sinn vom Redo file, dass ich in der Lage bin die VM online zu sichern.
Ich dache man aktiviert einmal das Redo File und lässt es dann immer aktiv, die Änderung steht im Redo File welches ich online immer zu meiner Backup.dsk commiten kann.

Oder ist es so gedacht, dass man das Redo File nur für die Dauer des Backups erzeugt dann gleich commitet und anschließend wieder ausschaltet (wenn das Möglich ist)?
Wie gesagt ich bin auch nur ein ESX Neuling

Gruß Michael

[Shraven]

Also ich habs vorhin mal auf die Schnelle probiert, kopieren des REDO-Logs geht nicht (weils ja gerade verwendet wird). Ob man es ohne zu kopieren committen kann bezweifle ich auch, da es normalerweise ja danach weg ist.
Möglich wäre evtl. für die Zeit des Backups mit nem zweiten REDO-Log zu arbeiten. Allerdings müsste man es dann auch jeden fall kopieren, da es ja zum Backup UND zum Original committed werden muss...
Mal sehen, vielleicht hab ich morgen noch etwas Zeit um das auszuprobieren...
Wär ja nicht schlecht, würde ja dann in etwa einem inkrementellen Backup entsprechen...

[mkunkler]

OK gib mir bitte bescheid wenn du weitere Erkenntnisse hast.
Michael

[bernyw]

Hi,

wenn ich mich mal kurz einmischen darf. Es gibt da ein paar Dinge die mir aufgefallen sind.

Ein REDO Log File für immer zu erstellen, würde sicher für das Backup Sinnvoll sein, aber sud Gründen von Performance sollte man das auf ein minimum reduzieren.

Man kann diese Prozedur auch automatisieren ohne Perl Kenntnisse zu haben, einfach ein Shell Script erstellen, welches nacheinander die Befehle
vmware-cmd <config_datei> addredo scsi0:0
vmkfstool -e ......
oder
cp ????.dsk Ziel
oder
scp ?????.dsk User@andererRechner:....PFAD/*.dsk
vmware-cmd <configfile der laufenden VM> commit

Somit kann auch gesteuert werden wann das Backup passiert.
Eines sollte noch beachtet werden. Bei der Variante gibt es keinen Backupagent und keine Prozedur um der Applikation - die in der VM läuft - zu sagen, das jetzt ein Backup gemacht wird. Somit kenne ich den Status meiner Applikation nicht ( bei Datenbanken wie SQL, Exchange oder Oracle ) kann das zu inkonsistenten Daten führen. Meine Variante an der ich auch noch bastele soll dann folgendes erreichen.
1. relevanten Dienst der Instanz stoppen
2. Redo Log aktivieren
3. Dienste starten
4. DSK Datei exportieren ider kopieren
5. commit Redo Logs.
fertig

Ich hoffe ich konnte ein wenig zu dem Thema beitragen.

Gruß

Bernd

[mkunkler]

Hallo Bernd,

vielen Dank für die ausführliche Beschreibung, hat mir sehr geholfen.
Es wäre nett wenn Du mich informieren würdest, wenn Du neue Erkenntnisse gewonnen hast.

Gruß Michael

[foobar]

wie bernyw bereits geschrieben hat, ist bei der backupmethode der zustand der applications unbekannt. somit erhält man nur ein crashkonsistentes backup.

das commiten des redologs mit einem backup geht so weit ich weiss nicht. es ist schliesslich immer active wenn es existiert. deshlab machen wir von unseren virtuellen maschinen tägliche backups mit tsm in der virtuellen maschine. dies hat den vorteil, dass wir eine konsistens herstellen können. ausserdem hat es den weiteren vorteil, dass eine incrementelle sicherung möglicht ist und somit weniger platz auf den tapes verbraucht wird (insbensondere bei 3 generationen macht sich der unterschied bemerkbar). die vms werden als ganzes nur einmal im quartal gesichert.

das nur mal so zur info ;)

[Thm]

...passt jetzt nicht ganz zu dem Thema, aber kommt schon in die Nähe

Hallo,

ich würde gerne einige VMs exportieren und auf der VMware Workstation einspielen.

Ich habe mit vmkfstools -e exported_disk.vmdk /vmfs/vmhba0:0:0:6:disk.dsk eine 4GB VM in 3 kleine Portionen zerlegt.

Diese habe ich per ftp (im binary mode) auf meinen desktop kopiert.
Dort eine neue VM im legacy mode angelegt (Workstation 5.0). den SCSI Controller habe ich auf LSI Logic gestellt. Danach die exported_disk.vmks eingebunden.

Beim start kommt der fehler, dass ich die VMware tools aktualisieren soll - gut mach ich, sobald die machine "oben" ist. Doch leider kommt kurz nach dem start die fehlermeldung auf dem vmware - bildschirm "a disk read error occured" da bleit sie sehen und bootet nicht.

Muss ich noch weitere schritte unternehmen um die disk einbinden zu können?
gibt es eine möglichkeit auch komplette maschinen zu benutzen, nicht nur die disk files?

schonmal danke für eure interesse, ich freu mich auf eure vorschläge.
gruss Thomas