Verständnisfragen zum Backup

[Maze13]

Hallo alle zusammen,

ich bin neu hier, da wir bei uns nun endlich auch den Schritt Richtung Virtualisierung gewagt haben und wir nun stolze Besitzer von 3 virtuellen Windows Server 2003 auf VMWare Server 2 sind.

Da ich in virtuellen Maschinen ja nicht irgendeinen Hardwarebaustein einfach austauschen kann, falls defekt, sondern ich darauf angwiesen bin, dass meine Dateien, aus denen die VM besteht, konsistent sind habe ich nun schon einige Gedanken zum Image-Level-Backup gemacht. Leider sind dabei noch ein paar Frage offen geblieben, auf deren Antwort ich hier hoffe. Vielen Dank schon mal im voraus!

1) Online-Backup per VSS Writer
Es wird von VM Ware empfohlen, Online-Backups per VSS zu machen. Anleitung von VM Ware befolgt (Dienst aktivieren und mit ausreichend Rechten auststatten, Snapshot overwrite enablen), getestet mit ntbackup, läuft.

Was ich nicht genau verstehe ist, was dabei wirklich abläuft. Wird dabei auch ein Snapshot erstellt, so wie ich ihn per Verwaltungsoberfläche ausführen kann? Wahrscheinlich schon oder? Woher weiß ntbackup überhaupt, dass es auf den VSS Writer-Dienst zugreifen muss??

Und der VSS-Dienst sorgt dann dafür, dass alle Applikation, also auch ein MS SQL Server innerhalb der VM in einem konsistenten Zustand abgespeichert werden, was bei einem "normalen" Snapshot per Oberfläche nicht der Fall wäre?? Muss dazu der VSS Writer-Dienst des SQL Servers innerhalb der VM ebenfalls noch gestartet sein, damit innerhalb des SQL Servers (oder irgendeiner anderen Applikation) ein konsistenter Zustand vorherrscht? Ist denn sichergestellt, dass alle laufenden Transaktionen des SQL-Server noch zuende geführt werden, bevor der snapshot gemacht wird? Wahrscheinlich ist es sogar sinnvoll, alle vorhandenen anfragenden Anwendungen zu stoppen, bevor ein snapshot der anfragenden VM oder der VM mit dem SQL Server gemacht wird, oder?

Ist es sinnvoll, die VM vorher in den suspend-Modus zu versetzen oder macht das nur bei einem offline-backup Sinn? Wird beim "Suspenden" (schlimmes Wort, ich weiß ) denn ein konsistenter Zustand erreicht?

2) Backup per Acronis, oder ähnliches
Viele Leute im Internet empfehlen auch Acronis oder eine ähnliche Image-Software, um VMs zu sichern. Was ich nicht verstehe: muss ich dazu Acronis innerhalb der VM installieren und die Software macht dann ein Image von sich selbst? Hört sich irgendwie unwahrscheinlich an ... Oder kann ich Acronis auf dem Hostsystem installieren und von dort aus alle VMs sichern? Wahrscheinlich benötige ich dann aber auch 3 Lizenzen, gell? Hat dazu jemand von Euch Erfahrungen? Vielen Dank!

Viele Grüße, Euer Maze

[shecki]

Wir haben recht gute Erfahrungen mit dem Trennen von Dienst und Daten gemacht.

Sprich wir haben einen Netzwerkspeicher, auf dem die Daten liegen und der entsprechend gesichert wird und RAID6 ist.

In den VMs selber liegen dann nur noch die Anwendungen und die passenden Netzlaufwerke werden eben gemountet. Für die Windows-Kisten über ein Samba, für Linux über nfs. Damit musst du dir nicht mehr den Kopf machen, wie du aus der VM sichern kannst, da die Daten ja woanders abgelegt sind. Bei Datenbanken würde ich empfehlen, per cron Dumps zu erstellen und die auf die Netzlaufwerke zu schieben, weil sonst hat man wirklich Probleme mit der Konsistenz hat. Alternativ, wenn das möglich ist, definiert man Downtimes, in denen die DB angehalten wird (haben wir bei datev glaube ich so gelöst) und sichert dann das Laufwerk.

Die VMs selber sichern wir dann so alle 2-3 Monate mal, normal ändert sich da ja nicht viel und erfassen in einem kleinen Wiki, wenn wir an den configs was verändert haben gegenüber der letzten Sicherung.

Ansätze, VMs im laufenden Betrieb zu sichern, haben wir bisher nicht gemacht, eben weil es verschiedenste Probleme gibt, bzw. Sachen, die man bedenken muss. War uns zu aufwändig

[Maze13]

Hi, vielen Dank für Deine Antwort!

Das ist wirklich ein sehr interessanter Ansatz! Das beantwortet zwar nicht direkt meine Fragen, aber regt zum Nachdenken an.

Mit "Netzwerkspeicher" meinst Du ein SAN, richtig?

So aufwändig finde ich den Ansatz mit NTBackup per VSS zu sichern eigentlich gar nicht. Vorausgesetzt natürlich, es funktioniert einwandfrei und bringt den gewünschten Effekt (Konsistente Images).

[shecki]

SAN, NAS, ... whatever

Ja das meine ich mit Netzwerkspeicher.

[Dayworker]

Hi, vielen Dank für Deine Antwort!

Das ist wirklich ein sehr interessanter Ansatz! Das beantwortet zwar nicht direkt meine Fragen, aber regt zum Nachdenken an.

Mit "Netzwerkspeicher" meinst Du ein SAN, richtig?

So aufwändig finde ich den Ansatz mit NTBackup per VSS zu sichern eigentlich gar nicht. Vorausgesetzt natürlich, es funktioniert einwandfrei und bringt den gewünschten Effekt (Konsistente Images).

Also bisher kann ich nicht Negatives über "ntbackup" unter Server1 mit XPSP2 als Host-OS und dort aktivem VSS sagen. Ich sicher die VMs einfach zur VM-Laufzeit durch den Host. Da sich "ntbackup" dazu auch noch scripten läßt, kann man die Sicherung sehr komfortabel über den Task-Planer anschieben. Allerdings sind meine VMs prinzipiell als Preallocated mit 2GB-Häppchen angerichtet und mit 10GB Größe auch sehr überschaubar. Wobei auch 100GB kein Problem wären, solange genügend Speicher für VSS auf dem Host und nachher auf dem Sicherungsdatenträger vorhanden sind.

[Maze13]

Danke für Dein Feedback. Scheint mir halt auch eine einfache Lösung zu sein. Hast Du mal ein restore der VSS-Sicherungen getestet bzw. warst evtl. sogar mal gezwungen ein restore zu machen?

Kann mir jemand vielleicht noch Hilfestellung zu den konkreten Verständnisfragen aus dem ersten Post geben? Vielen Dank!

[Dayworker]

Gezwungen nicht, aber ausprobiert. Die VMs ließen sich problemlos auf einem anderen Host starten.

[ralfoertner]

Hallo Maze13!

Aus welcher Quelle hast du die Infos die Konfiguration des Vmsnapshot, due schreibst:
"Es wird von VM Ware empfohlen, Online-Backups per VSS zu machen. Anleitung von VM Ware befolgt (Dienst aktivieren und mit ausreichend Rechten auststatten, Snapshot overwrite enablen), getestet mit ntbackup, läuft"
Kannst du die Quelle nennen - ich such mir einen ab und finde sie nicht.

Auch die restlichen Fragen die due gestellt hast interessieren mich leider kommt der Thread ziemlich schnell von der eigentlichen Fragestellung ab.

Viele Grüße
Ralf

[Maze13]

Aus welcher Quelle hast du die Infos die Konfiguration des Vmsnapshot, ...

In der ganz normalen Bedienungsanleitung für VMWare Server 2 gibt einen Abschnitt "Enabling Quiesced Backups of Virtual Machines on Windows" (ab Seite 118).

Auch die restlichen Fragen die due gestellt hast interessieren mich leider kommt der Thread ziemlich schnell von der eigentlichen Fragestellung ab.

Ja, das stimmt leider.

Ich habe noch eine weitere Verständnisfrage an die VM-Community:

Ich habe jetzt mal einen Restore getestet - hier der Ablauf:

1) Backup per NTBackup mit VSS-Writer Snapshot
2) VM verändert: eine Datei gelöscht
3) Über die WebAdmin-Oberfläche die betreffende VM aus dem Inventory gelöscht
4) manuell alle Dateien zur VM in den Papierkorb verfrachtet
5) Wiederherstellung der gesicherten VM per NTBackup
6) per "Add VM to Inventory die VM" wieder als Eintrag in der Admin-Oberfläche hinzugefügt
7) VM gestartet und alles läuft wieder wie gehabt

--> jetzt kommt das Interessante: die gelöschte Datei ist immer noch weg! Als ob der Host die Änderungen nach der Wiederherstellung noch nachgezogen hat.

Kann sich das jemand erklären?

Viele Grüße, Maze

[Maze13]

--> jetzt kommt das Interessante: die gelöschte Datei ist immer noch weg! Als ob der Host die Änderungen nach der Wiederherstellung noch nachgezogen hat.

Kann sich das keiner erklären? Irgendein Prozess - entweder die Hypervisorschicht des VMWare Server oder der VSS Writer-Dienst - muss die Löschung der Datei (also die Änderung) im Zugriff gehabt haben oder mitprotokolliert haben ...?!

Viele Grüße, Maze

[Dayworker]

Hmm, sehr merkwürdig. Mir ist allerdings auch nicht klar, was der VSS-Writer-Dienst für den Server2 bewirken soll.
Allerdings unterstützt W2k3 auch schon VSS von Hause aus und du kannst dort auch einen Speicherbereich für VSS vorsehen, Voreinstellung ist wohl 15% vom Host-LW. Schau doch mal in den Dateieigenschaften nach, ob du einen älteren Snapshot auf dem Host-LW noch findest. Alle nötigen Werkzeuge finden sich eigentlich im Lieferumfang vom W2k3.

[Maze13]

Hi Dayworker,

ist weiß nicht, ob Du mit "VSS Writer" den gleichen Dienst meinst wie ich ...?! Ich meine den "VMWare VSS Writer"-Dienst. Also einen VMWare-eigenen Dienst, der mitinstalliert wird und den ich laut manual starten muss, wenn ich "Quiesced Backups of Virtual Machines on Windows" machen möchte. Den "Volume Shadow Service von MS" meine ich nicht bzw. dieser ist auch nicht gestartet bzw. steht auf manuell. Selbst wenn ich ihn starte, steht er anschließenf für alle Volumes auf "deaktiviert".

Vielleicht kannst Du mir noch eine andere Frage beantworten? Wenn Du 2 VMs hast:
1) VM1: Webserver + Anwendungsdienste, die auf die SQL-DB auf VM2 zugreifen
2) VM2: VM mit SQL Server

Wenn Du beide VMs per Image-Level-Backup sichern möchtest - also per NTBackup/Snapshot - würdest Du dann alle Dienste auf der VM1, die auf die SQL-DB auf VM2 zugreifen, vorher runterfahren bevor Du VM1 und VM2 sicherst (damit es nicht zu Inkonsistenzen in der SQL-DB kommt)? Ich halte das eigentlich für eine gute Idee, tue mich aber ein wenig schwer mit der zeitlichen Abstimmung, da die VMs ziemlich groß sind. 100 und 200GB (habe den Speicherplatz sofort zugewiesen).

Greetz, Maze

[Dayworker]

Das du den VMware-Dienst meintest war mir schon klar, allerdings hab ich immer noch nicht so richtig dessen Funktion verstanden. Jedenfalls kann er auf keinen Fall einen DB-Lock vollziehen. Ich würde mich daher mit der Master-Slave-Konfig unter MySQL beschäftigen.
Allerdings müßte es ja reichen, wenn du die DB per Cron oä synchst, für 2min Zugriffe darauf verbietest und zu diesem Zeitpunkt das Backup startet. Dann würdest du zumindest bis zu diesem Zeitpunkt alle Gäste-LW sichern können und trotzdem kann die DB dann schon wieder laufen.

Was auch noch eine Möglichkeit ist, scripte das Suspenden der VM mit nachfolgendem Start des Backups und einem anschließenden Aufwachen der VM. Dazu gibts hier auch schon ein passendes Script im Forum bzw wird auf eins verlinkt.

[Maze13]

Das du den VMware-Dienst meintest war mir schon klar, allerdings hab ich immer noch nicht so richtig dessen Funktion verstanden.

Ja, genau! Dessen Funktion habe ich auch noch nicht so richtig verstanden ...

Jedenfalls kann er auf keinen Fall einen DB-Lock vollziehen.

Ich wollte es ja anders herum aufziehen, indem ich die auf die SQL-DB zugreifenden Prozesse ausknipse. Ich möchte halt sichergehen, dass ich die VM1 nicht in einem Zustand sichere, bei dem noch auf die VM2 zugegriffen wird. Wenn ich nämlich ein Restore der VM1 mache und dann plötzlich noch Transaktionen / SQL-Befehle nachgezogen werden, die zum Zeitpunkt der Sicherung noch nicht fertig ausgeführt waren, kann die DB auf der VM2 ja inkonsistent werden?!

Ich würde mich daher mit der Master-Slave-Konfig unter MySQL beschäftigen.

Ist ein MS SQL-Server.

Code: Alles auswählen

Allerdings müßte es ja reichen, wenn du die DB per Cron oä synchst

Das mit dem syncen habe ich nicht verstanden - wie meinst Du das?

für 2min Zugriffe darauf verbietest und zu diesem Zeitpunkt das Backup startet.

Du rechnest die 2 Min. bis der Snapshot erstellt ist?!

Was auch noch eine Möglichkeit ist, scripte das Suspenden der VM mit nachfolgendem Start des Backups und einem anschließenden Aufwachen der VM. Dazu gibts hier auch schon ein passendes Script im Forum bzw wird auf eins verlinkt.

Ja, das hört sich ganz vernünftig an. Weißt Du zufällig den passenden Thread mit dem Link? Wenn nicht, kein Prob, dann suche ich eben ...

Auf der anderen Seite ... Kann das suspenden mir denn garantieren, dass alle Transaktionen der VM1 aus dem Beispiel beim anschließenden Snapshot fertig ausgeführt wurden auf der VM2? Anders ausgedrückt: ist die DB auf der VM2 dann konsistent im Moment des snapshots?

Sorry, wenn ich ein wenig verwirrend schreibe - bin kurz vorm Urlaub!

[Dayworker]

Also vielleicht etwas genauer ausgedrückt:Backup anschieben per Script, welches folgende Bedingungen erfüllen müßte

• DB locken und deren Caches leeren
• VM suspenden (VSS) oder runterfahren
• Sicherung der Suspended VM
• Sobald die Sicherung gestartet ist, VM wieder Resume oder Restart

Wobei der Zeitbedarf für das Suspenden der VM in meinen Augen eigentlich nur von deren Arbeitsspeichergröße abhängig sein dürfte und in 2min sollten sich eigentlich 1-2GB wegschreiben lassen. Ein Sata2/SAS-LW auf dem Host mal voraus gesetzt.

Auch eine MS-Datenbank sollte das Master-Slave-Prinzip verstehen, was übrigens sehr genial ist.
Du bräuchtest dann nämlich nur noch die Slave-DB anhalten/locken (in der Zwischenzeit für die DB ankommende Daten werden alle vom Master weiter ins Bin-Log geschrieben), Slave sichern, dann die Verbindung zum Master wieder aufnehmen und alle neuen Daten des Bin-Log werden im Slave automatisch nachgeführt. Der große Vorteil bei dieser Konfig ist, daß die Master-DB nie angehalten werden muß, wichtig für deren Verfügbarkeit und beide DB sogar parallel auf einer VM laufen könnten. Aber das nur mal als Anregung aus c't vom Heise-Verlag und dem MySQL-Manual...

[Maze13]

Ach so, ich muss gestehen, dass ich von der von Dir beschriebenen Master-Slave-Konfig bisher noch nichts gehört habe. Hört sich aber sehr interessant an - werde ich mir anschauen ...

Eine kurze Rückfrage habe ich noch ...

Du schreibst "VM suspenden (VSS)".

Passiert beim Sichern per VSS denn dasselbe wie beim suspenden? Eigentlich nicht, oder? VSS = Snapshot
Oder meintest Du das als Alternative (VSS oder Suspend)? Wenn ich erst suspende und dann per NTBackup sichere, mache ich beides?!

Viele Grüße

[Dayworker]

VSS ist in meinen Augen gleich Snapshot.
Eigentlich sollte das Suspenden einer VM nicht erforderlich sein, wenn es einen VSS-Dienst auf dem Host-OS schon gibt und dort ein Backup-Prog wie "ntbackup" auch davon Gebrauch machen kann. Der Vorteil eines VM-Suspends wäre allerdings, daß der VM-Datenträger gleichzeitig konsistent und zudem transportabler wäre. Bei der Gelegenheit sind preallocated v.HDDs von Vorteil, du sparst dir dann das Mitsichern der Delta-Logs.

Wenn ich so nochmal darüber nachdenke, geht das Backuppen einer DB-VM eigentlich nur in Verbindung mit einer Suspended VM. VM-RAM und -HDD sind dann zwar schon konsistent, die DB in der VM müßtest du aber trotzdem für einen Moment anhalten bzw ihren Cache leeren lassen oder du sicherst per Master-Slave-Konfig die DB eh an einen anderen Ort. Für diesen Fall bräuchtest du diese VM eigentlich nur genau einmal nach Abschluß der VM-Aufsetz/Konfig-Orgie sichern und ab diesen Zeitpunkt nur noch bei System-Updates in dieser VM erneut sichern, die DB selber wird ja schon über den Slave gesichert. Daten&Datenzustand in der Master-DB wären dabei in meinen Augen egal und würden sich durch eine Kopie der Slave-DB ersetzen lassen. Bis dahin noch nicht geschriebene DB-Einträge wären dann allerdings verschwunden.

Falls noch jemand dazu Gedanken hat, Verbesserungen oder sogar Fehlerquellen sieht, immer raus damit.

[Maze13]

Hi Dayworker,

ich glaube, zumindest bei mir ist ein wenig gedankliches Chaos entstanden, dass ich mal ein wenig aufräumen muss. Ich fasse nochmal zusammen:

1) Problemstellung:
Vermeidung von inkonsistenten Zuständen (auf Applikationsebene innerhalb der VM, nicht auf VM-Ebene) nach dem Restore einer per snapshot gesicherten VM.

Durch zum Zeitpunkt des Snapshots noch nicht abgeschlossene Kommunikation der wiederhergestellten VM mit einer DB auf einem anderen Rechner, können auf diesem (dem anderen Rechner) Inkonsistenzen auftreten, da der noch nicht abgeschlossene Teil der Kommunikation nachgezogen wird.

2) Lösung:
Verhinderung von Kommunikation einer VM zum Zeitpunkt des Snapshots.

a) Kommunizierende Anwendungen auf der VM müssen geschlossen werden, bevor der Snapshot ausgeführt wird.
--> aufwendig & unsauber, da diverse EXE-Dateien "abgeschossen" werden müssten

b) DB des anderen Rechners für die Zeit des Snapshots der VM dicht machen.
--> wie mache ich das am besten? In den Single-User-Mode setzen?

c) Zeitpunkt für die snapshots wählen, an dem mit großer Wahrscheinlichkeit keine Komm. mit der DB stattfindet.
--> ergänzend zu b)

d) Offline-Sicherung


Ergänzungen - Suspend/Snapshot/VSS:
Das vorherige Versetzen einer zu sichernden VM in den suspend-Mode macht aus meiner Sicht keinen Sinn, wenn mit Online-Sicherungen (VSS = Snapshot) gearbeitet wird. Wenn ich die Maschine per suspend einfriere, kann ich auch eine Offline-Sicherung machen, denn es kann in diesem Fall sowieso nicht mehr auf der Maschine gearbeitet werden. Aber es ist ja gerade das tolle Feature des Snapshots, dass wiederherstellbare Stände online gesichert werden können.

Des Weiteren stellt der suspend-Mode lediglich Konsistenz auf Ebene der VMDK-Datei her, nicht auf Ebene der Applikationen innerhalb der VM. Wenn ich per VSS/Snapshot arbeite, kann ich aber auch innerhalb der VM Konsistenz auf Applikationsebene erreichen, vorausgesetzt diese Applikation, bspw. der MS SQL Server, unterstützt ebenfalls die VSS-Funktionalität und die VM ist wie gesagt nicht im suspend-Mode.

Denn wenn ich der bereits oben erwähnten Anleitung zu VMWare Server 2 (User Guide ab Seite 118) glauben darf, kommuniziert der VMWare VSS Writer über die VMWare Tools mit dem Gastsystem und dort ggf. mit den VSS Diensten der Applikationen - beim MS SQL Server der "MS SQL Server VSS Writer, den ich auf "automatisch" gestellt haben. Die Ereignislogs auf dem Gastsystem zur Zeit des Snapshost (Start der NTBackup-Sicherung) scheinen dies zu bestätigen. Es wird nämlich eine Sicherung aller DBs auf ein "Virtual Dvice" angezeigt. Der VSS-Writer meldet außerdem eine Warnmeldung, die ich mir nochmal genauer anschauen muss.

So, puhh ... Ich hoffe, dass war alles so verständlich und ihr steigt noch durch. Ich denke auf jeden Fall, dass ich jetzt wieder etwas klarer sehe ...

Viele Grüße, Maze

PS: @Dayworker: für die Sicherung der Datenbanken innerhalb der VM schaue ich mir die Master-Slave-Konfig auf jeden Fall auch noch an ...

[Dayworker]

Zu Lösungspunkt a fällt mir auch ein Pausieren ein, wenn die App das bietet.
Bei b und c kommt es auf die Wichtigkeit bzw Vorgaben zur Verfügbarkeit an. Bei Hochverfügbarkeitslösungen (E-Shop, Reisebüro) kommst du an der Stelle eigentlich nur per Master/Slave-Konfig weiter. Ansonsten sperrst du die DB für Zugriffe und machst dann das DB-Backup.
Falls du ein CMS ala e107, Drupal oder Joomla nutzt, dafür gibt es Plugins (easybackup beim e107) um beim ersten Zugriff des Tages oder zeitgesteuert (per cron im System oder http://cronjob.de )ein DB-Backup zu machen. Ansonsten kannst du dir vielleicht auch selbst ein PHP-Script dafür schreiben oder nutzt eins der vielen kostenlos angebotenen im Web.

Die Warnmeldung des VSS in der VM wäre wirklich interessant. Ich glaube nämlich nicht, daß das Backup automatisch die DB für Anfragen sperrt und damit drohen dann wieder Inkonsistenzen.

Falls du erstmal was zur Master/Slave-Konfig oder Replikation lesen willst, gibts für MySQL unter http://dev.mysql.com/doc/refman/5.0/en/ ... overy.html was zur Einstimmung und ans Eingemachte gehts dann bei http://dev.mysql.com/doc/refman/5.0/en/replication.html
Wie schon gesagt, hab ich aber keine Erfahrung mit MS-SQL. allerdings sollte es nicht viel anders sein...