Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Snapshots von Linux VMs konsistenter bekommen

Moderatoren: irix, Dayworker

Member
Beiträge: 5
Registriert: 21.08.2012, 22:34
Wohnort: Würzburg

Snapshots von Linux VMs konsistenter bekommen

Beitragvon bylokk » 12.06.2014, 13:56

Hi,

ich würde gerne die Backup Qualität meiner Linux VMs erhöhen.
Für das Backup wird ein Snapshot der VM erstellt und dann die vmdk's von der Backup-Software wegkopiert.

Unter Linux haben wir ja nur die Crash-Konsistenz aber würde es nicht schon helfen ein "sync" in /usr/sbin/pre-freeze-script einzubauen? oder machen das die VMware Tools eh schon..?

Es soll auch Leute geben, die ein fsfreeze -f auf die relevanten Filesysteme in die /usr/sbin/pre-freeze-script bauen, und dann halt noch ein fsfreeze -u in der /usr/sbin/post-thaw-script

Aber in der Man-Page steht: "fsfreeze is unnecessary for device-mapper devices. The device-mapper (and LVM) automatically freezes filesystem on the device when a snapshot creation is requested.". Nun ja, alle Filesysteme liegen bei mir auf LVM. Aber hat das überhaupt was mit VMware Snapshots zu tun ?

Hat sonst schon jemand Erfahrung mit dem Thema gemacht ?

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Beitragvon ~thc » 13.06.2014, 09:39

Falls du mit "manpage" die von fsfreeze meinst, bezieht sich dein Zitat auf DM/LVM-Snapshots und nicht auf ESX-Snapshots.

Ich würde nachsehen, ob die Backup-Software ein "Quiescing" des Dateisystems beim Erstellen des Snapshots ausführt und wie die VMWare Tools für Linux auf den VMs dies umsetzen.

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 13.06.2014, 10:04

Bei Linux-Maschinen muss man sich grundlegende Gedanken machen, welche Dienste laufen und wie man die Daten der Dienste konsistent bekommt.

Z.B. würde ich mich bei einer SQL-Datenbank nie auf den VM-Snapshot verlassen, sondern immer zusätzlich einen SQL-Dump machen. Wenn nach dem Zurückspielen des VM-Snapshots die SQL-Datenbank nicht mehr konsistent ist, kann man die SQL-Sicherung einzeln zurückspielen.

Ein Backup der Linuxmaschine mit rsync ist eine weitere Option. Wenn man es sich vom Datenvolumen erlauben kann, komplett (damit kann man im Notfall das Linuxsystem auch wieder zum Laufen bringen, man muss nur den Bootloader wiederherstellen), oder nur die wichtigsten Verzeichnisse. Das ist optimal für Dienste, welche mit vielen kleinen Dateien arbeiten, z.b. ein Webserver.

Man muss sich also überlegen, welche Daten man am sicherten auf Datenbankebene, auf Filesystem-Ebene und auf Snaphot-Ebene sichern kann. Am besten kombiniert man 2 oder alle 3 Ebenen, damit man flexibel auf Probleme reagieren kann.

Member
Beiträge: 5
Registriert: 21.08.2012, 22:34
Wohnort: Würzburg

Beitragvon bylokk » 17.06.2014, 07:50

~thc hat geschrieben:Falls du mit "manpage" die von fsfreeze meinst, bezieht sich dein Zitat auf DM/LVM-Snapshots und nicht auf ESX-Snapshots.

Ich würde nachsehen, ob die Backup-Software ein "Quiescing" des Dateisystems beim Erstellen des Snapshots ausführt und wie die VMWare Tools für Linux auf den VMs dies umsetzen.


ok, das mit dem Snapshot dachte ich mir schon ein wenig - schade.

Die Vmware-Tools veranlassen unter Linux garkein Quiescing - egal ob der Schalter an oder aus ist. Bitte korrigiert mich wenn es anders ist. Alles was sie meines Wissens machen wenn der Schalter an ist: Sie führen usr/sbin/pre-freeze-script und /usr/sbin/post-thaw-script aus. (beide standardmäßig erstmal nicht vorhanden)

Es geht mir jetzt auch garnicht mal um das Backup der Applikation (dafür gibt's z.B. bei den Oracle-DB's eigene RMAN-Backups, usw.). Sondern, dass ich die VM als ganzen erstmal ordentlich wiederherstellen möchte (vorher eben mit VMware-Snapshot und Netbackup abgezogen) ... Dabei soll vor allem das Linux-OS einwandfrei booten und die Filesysteme konsistent sein. Der Recovery der Oracle-DB wäre dann erst dann nächste Schritt.

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Beitragvon ~thc » 17.06.2014, 08:40

bylokk hat geschrieben:Alles was sie meines Wissens machen wenn der Schalter an ist: Sie führen usr/sbin/pre-freeze-script und /usr/sbin/post-thaw-script aus. (beide standardmäßig erstmal nicht vorhanden)

Wenn das so ist, dann würde dein Ansatz von oben Sinn machen: fsfreeze in die beiden Scripte integrieren und testen.

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 17.06.2014, 09:05

Bootfähig ist das Snaphot-Backup auf jeden Fall, weil die Boot-Umgebung statisch ist und höchstens bei einem Kernel-Update geändert wird. Dabei wird der alte Boot-Eintrag aber nicht gelöscht, um das System immer bootfähig zu halten.

Es sei denn, es passiert etwas mit dem Filesystem, was bei einem aktuellen Filesystem mit Journal eigentlich nicht mehr vorkommen sollte.

Wenn du Sorgen um das Filesystem hast, kannst du das System auf Filesystemebene sichern, z.B.;

Code: Alles auswählen

/usr/bin/rsync -av --delete --numeric-ids --relative --delete-excluded  --exclude=/proc/ --exclude=/sys/ /. Ziel


Den Pfad der Datenbank kann man ausschließen, wenn die Datenbank auf Applikationsebene gesichert wird.

Das Sichern mit rsync hat den Vorteil, dass man einen Fehler im Filesystem bemerkt, der bei Snapshot-Backups nicht auffällt, bis alle Backup-Generationen ohne Fehler überschrieben sind.

Member
Beiträge: 88
Registriert: 23.05.2013, 22:14

Beitragvon vl13 » 17.06.2014, 22:11

In den vmware-linux tools gibt es die moeglichkeit das vmsync modul mit / nach zu installiern.

Aus bin/vmware-config-tools.pl
[EXPERIMENTAL] The VMware FileSystem Sync Driver (vmsync) is a new feature that creates backups of virtual machines.
Please refer to the VMware Knowledge Base for more details on this capability. Do you wish to enable this feature?

Habe es aber selber noch nicht getestet.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 18.06.2014, 16:28

Wenn das noch im Experimentalstadium und somit ungetestet ist, würde ich das wirklich nur im absoluten Notfall probieren.

Member
Beiträge: 5
Registriert: 21.08.2012, 22:34
Wohnort: Würzburg

Beitragvon bylokk » 29.06.2014, 21:18

vl13 hat geschrieben:In den vmware-linux tools gibt es die moeglichkeit das vmsync modul mit / nach zu installiern.

Aus bin/vmware-config-tools.pl
[EXPERIMENTAL] The VMware FileSystem Sync Driver (vmsync) is a new feature that creates backups of virtual machines.
Please refer to the VMware Knowledge Base for more details on this capability. Do you wish to enable this feature?

Habe es aber selber noch nicht getestet.


ich wollte das mal testen, aber habe das Modul nicht bei den VMware Tools gefunden. Scheinbar ist es in den aktuellen Versionen garnicht mehr dabei?

Member
Beiträge: 88
Registriert: 23.05.2013, 22:14

Beitragvon vl13 » 30.06.2014, 23:04

Habe eine KB gefunden das es wieder rausgefolgen ist Snapshot quiescing fails on Linux guests after upgrading to ESXi and VMware Tools 5.1

Habe hier auch noch ein paar 5.0'er hosts am rennen in den tools ist das modul noch drin aber wie geschrieben experimental.


Zurück zu „VMs & Appliances“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 9 Gäste