Datastore mit Snapshot vollgelaufen

[Alteisen]

Hallo allerseits,

letzte Nacht hatten wir ein Problem mit einem vollgelaufenen Datastore, infolge dessen hatten wir eine VM 2h lang offline.
Nun habe ich ein Verständnisproblem, vielleicht könnt ihr mir das erklären.

Die betroffene VM hat 3 vDisks, 2 davon (Systemdisk 100GB und Datendisk1 1TB) befinden sich auf Datastore1 (2TB)
Die dritte vDisk (Datendisk2 1,9TB) befindet sich auf Datastore 2 (2TB).

Jetzt startete veeam B&R und legt alle Snapshot-Dateien für die Platten an.
In Datastore1 ist alles gut - keine Probleme.
In Datastore2 wächst die Snapshotdatei innerhalb einer halben Stunde aus noch nicht geklärten Gründen auf 180GB an.
Jetzt ist Datastore2 restlos voll und die VM geht aus. (Keine RAM Datei und keine Swap Datei mehr im Datastore2).
OK - ich hatte jetzt ein Problem. Backup-Job abgebrochen, der Snapshot war nach 2 Stunden wieder "gemerged" und
ich konnte die VM wieder einschalten.

Jetzt meine Frage: War das normal, dass jetzt die ganze VM down ging? Schließlich war ja die Systemdisk nicht betroffen,
weil die auf einem anderen Datastore lag. Ich hätte erwartet, dass die Datendisk voll läuft, das System aber insgesamt online bleibt.

Vielleicht kann mir das ja jemand erläutern.

Vielen Dank!

Rüdiger

[JustMe]

Meine Idee dazu:
Woher soll der arme ESXi denn wissen, welche der angehaengten VMDKs die System-Disk ist, und wie die innerhalb der VM verwendet werden? Er kann auf eine Komponente der VM nicht mehr zugreifen, und das war's...

Ansonsten: Die RAM- und SWAP-Dateien liegen eigentlich im "Home"- bzw. Arbeitsverzeichnis der VM...

[Alteisen]

Ja, der ESX Server kann nicht wissen, was die Windows Systempartition ist.
Aber da ja der Datastore, in dem diese Systemdisk lag ja nicht vollgelaufen ist, nahm ich an, dass es dort keine Probleme geben wird.

Wo und wie wird dieses Arbeitsverzeichnis denn definiert,
oder sucht sich ESX einfach einen beliebigen Ordner von den Zweien aus:
DATASTORE1\VM1
DATASTORE2\VM1

[JustMe]

In den Einstellungen der VM, unter VM-Optionen -> Allgemeine Optionen gibt es Parameter fuer die VM-Konfigurationsdatei und das Arbeitsverzeichnis der VM.
Standardmaessig liegt das alles beieinander im selben Verzeichnis wie die erste Disk der VM, ausser wenn's beim Einrichten anders angegeben wird.

[irix]

Ich habs nun 3x gelesen aber man kann nur vermuten auf welchem Datastore die VM nun wohnt ($HOME). Man gewinnt den Eindruck das es DS1 sei und du zwar sagst wie gross der DS ist aber nicht wieviel frei ist. Wenn da aber viel Platz ist dann passt das nicht zu deiner Beschreibung des Verhaltens.

Folgendes muss man wissen
- Defaultverhalten. Die Snaps von ALLEN vDisks, egal auf welchen DS diese liegen, werden alle erstellt und wachsen in dem DS wo die VM wohnt!!!
- Man kann per adv. Settings ein abweichendes Verzeichnis(DS) angeben wenn einem obiges nicht passt. Das ist aber absolut untypisch und ich warne dringend davor
- Das Defaultverhalten gilt nicht wenn man das Feature Datastore Clusters verwendet wird. Hier liegen die Snaps "neben" den Orignal vDisks. Gefuehlsmaessig waere es fuer mich eigentlich das was ich erwarten wuerde


- Veeam hat Schwellwerte was den freien Platz in % und GB? angeht wo es zumind. warnt oder aber das Backup nicht beginnt weil der Platz schon knapp ist. Bei den Defaultmaessigen 10% waeren das bei 2TB DS dann 200GB.
- Man kann im vCenter sich einen Alarm anlegen was die Groesse von Snaps angeht
- Entsprechendes Nagios&Co. Monitorung hilft
- Achtung: Windows Dedup im GuestOS laesst regelmaessig GarbageCollection und Optimierung laufen und da werden Mengen an Daten umgekrempelt was Snaps explodieren lassen kann!!

Gruss
Joerg

[Alteisen]

Hallo Joerg,

das Homeverzeichnis der VM ist im Datastore1. Dort liegen ja auch RAM, Swap usw. - es ist dort jederzeit reichlich freier Platz vorhanden.
Die Snaps werden jedoch in den Verzeichnissen angelegt, in denen auch die Disks liegen. D.h. im Datastore2 mit 2TB liegt diese Disk mit 1,9TB.
Dann kam dort der Snap mit 180GB rein und dann war Ende.

Du sagtest:

- Defaultverhalten. Die Snaps von ALLEN vDisks, egal auf welchen DS diese liegen, werden alle erstellt und wachsen in dem DS wo die VM wohnt!!!

Heißt das wiklich, ALLE Snaps landen in EINEM Verzeichnis, egal wie viele Platten in mehreren Datastores?

Das ist ja hier anders.
Abweichende Verzeichnisse wurden in den adv. Settings nicht angegeben, ist alles default und Datastore Cluster sind nicht eingerichtet.

Alarme schaue ich mir nochmal an. In diesem Fall ist der 180GB Snap nachts innerhalb einer halben Stunde gewachsen und da waren
wir zu spät dran um noch reagieren zu können.
Mit Windows Dedup meinst du REFS?

[irix]

Hallo Joerg,

das Homeverzeichnis der VM ist im Datastore1. Dort liegen ja auch RAM, Swap usw. - es ist dort jederzeit reichlich freier Platz vorhanden.
Die Snaps werden jedoch in den Verzeichnissen angelegt, in denen auch die Disks liegen. D.h. im Datastore2 mit 2TB liegt diese Disk mit 1,9TB.
Dann kam dort der Snap mit 180GB rein und dann war Ende.

Du sagtest:

- Defaultverhalten. Die Snaps von ALLEN vDisks, egal auf welchen DS diese liegen, werden alle erstellt und wachsen in dem DS wo die VM wohnt!!!

Heißt das wiklich, ALLE Snaps landen in EINEM Verzeichnis, egal wie viele Platten in mehreren Datastores?

Ja. Also die Snaps aller vDisk einer entsprechenden VM. Mach doch einfach mal einen Snap und dann gucke per Putty in das Verzeichnis rein

Code: Alles auswählen

ls -alh

Mit Windows Dedup meinst du REFS?

Nein. Das hat mit dem FS nichts zutun. Die Dedup Rolle/Feature kann man auch auf NTFS um Einsatz bringen. Einen Blick in den Server Maanger da auf lokale Volumes zeigt es ja ob Dedup an ist.


Sag uns doch einfach mal wieviel freier Speicher dein DS1 hat.

Gruss
Joerg

[JustMe]

Eigentlich ist's defaultmaessig andersrum mit den Snapshot-Dateien: FRUEHER wurden die Snapshot-Dateien im Home-Verzeichnis angelegt; seit 5.x zusammen mit der "gesnapshotteten" Platte. Vgl. hier.

@Alteisen:
Warum schriebst Du dann in Deinem ersten Post, dass es keine RAM- und Swap-Datei MEHR im DS2 gab? Das impliziert fuer mich irgendwie, dass es da mal eine gegeben haben koennte...

[irix]

Eigentlich ist's defaultmaessig andersrum mit den Snapshot-Dateien: FRUEHER wurden die Snapshot-Dateien im Home-Verzeichnis angelegt; seit 5.x zusammen mit der "gesnapshotteten" Platte. Vgl. hier.

Ah.... nichts ist so bestaetig wie der Wandel. Das passiert wenn man schon gefuehlt seit Ewigkeiten dabei ist

Dann ist doch alles klar. Die vDisk im DS2, da wo er nur wenig freien Speicher hat, laueft ueber weil die Aenderungsrate waerend der Sicherung zugross ist.

Wie man das wieder "zurueck" konfiguriert steht ja auch im KB. Ich hatte das auch schon mal machen muessen. Da hatte der Kunde seine VM auf einem kleinen SSD Datastore und nur noch wenig Platz drin.

Gruss
Joerg

[Alteisen]

Der Datastore1 hat von 2TB 1,5TB frei.
Mit Hilfe des KB-Artikels würde ich es dann angehen, das Snapshot-Verzeichnis auf Datastore1 umzulegen,
um zukünftig solchem Stress zu entgehen.

Der Backupvorgang und auch die Erstellung der Replika letzte Nacht verliefen problemlos.
Der Snap wurde nur 8GB groß.
Die Riesendatei vorletzte Nacht kam zustande, weil wohl ein Kollege nachts zum dümmsten Zeitpunkt riesen Mengen an Daten bewegt hat.

@ JustMe
Entschuldigung, im DS2 gab es natürlich zu keinem Zeitpunkt RAM- oder Swap-Dateien.

Vielen Dank für eure prompte Hilfe!

Rüdiger

[irix]

Der Backupvorgang und auch die Erstellung der Replika letzte Nacht verliefen problemlos.
Der Snap wurde nur 8GB groß.
Die Riesendatei vorletzte Nacht kam zustande, weil wohl ein Kollege nachts zum dümmsten Zeitpunkt riesen Mengen an Daten bewegt hat.

Hier spielt es auch immer eine Rolle ob dein Backup an diesem Tage ein Inkrementel oder aber ein Active Full machen. Wenn du da eine 2TB VM hast dann kann das ActivFull ja durchaus mal "laenger" dauern und wenn da der Snapshot ein paar Stunden gesetzt ist dann kann in dieser Zeit viel Dummes passieren. Das reicht von SQL Dumps, Dedup Reorgs oder ein saudummes Defrag und dazu fuehrt das in der Laufzeit eine Grosse Datenmenge sich veraendert und das laesst einen Snapshot rasch anwachsen.

Gruss
Joerg

[Alteisen]

Ja das ist mir schon bewusst. Active Full haben wir gar nicht sondern nutzen nur reverse incremental,
die dann halt mit SureBackup überprüft werden.

Ich weiß jetzt, dass es ein relativ neues Veeam Plugin für unseren benutzten Storage gibt.
Somit könnte man darüber nachdenken, Storage Snapshots zu nutzen.
Dann wäre der vmware snapshot Zeitraum ja super kurz.

[irix]

Yupp...... nur braucht es dann Veeam Enterprise PLUS.

Mit 9.5u4b hat die Dell SC/Compellent support bekommen und somit werde ich bei ein paar meiner Kunden das Veeam upgraden. Ich habs bei einem Kunden mit NetAPP(NFS) seit ein paar Jahren laufen und es ist toll.

Gruss
Joerg

[Alteisen]

Na super, da fehlt uns das Plus....
Mal schauen, aber wenn die snapshot Fenster zu groß werden,
bleibt uns wohl nichts Anderes übrig.

Vielen Dank nochmal!

Rüdiger

[irix]

Wenn ich dir ein Upgrade Angebot machen soll so sag bescheid. Veeam wird die Preise fuer die Perpetual Lizenzen zum Jahresende um 15% erhoehen. Das betrifft auch Support.

Wer also noch Restbudget hat.... der sollte ueberlegen.

Gruss
Joerg