Datenspeicher voll. VM kann nicht gebootet werden

[MFju]

Guten Morgen,

ich hab ein goßes Problem. Von einer Stunde auf die andere hat sich die VM ausgeschaltet und ließ sich nicht mehr einschalten.

Wenn ich einschalte, dann kommt, dass zu wenig Speicherplatz besteht.
Im Store sagt er auch nur noch 14MB frei.

Gut ich schau mir den Datenstore und sehe jede Menge Flat-Files. Woher kommen die und vorallem wie bringe ich das Ganze wieder in 1 File zusammen?

Um das Ganze wieder zum Laufen zu bringen, habe ich testweise mal ein File davon wegkopiert, gelöscht und die VM neu gebootet. Dann bekomme ich aber gleich den Fehler, dass ein File defekt ist oder keine vmdk ist.

Darauf hin hab ich die Datei wieder zurück kopiert und bekomme beim Starten wieder die Meldung mit zu wenig Speicher.

Kann mir bitte jemand helfen? Ist sehr wichtig. Vielen Dank.

Anbei die Logs und ein Screenshot des Stores.
Datastore
Logs

[irix]

Bitte nur einen Post zum Thema hinterlassen.

Ja das sind Snapshots aktiv gewesen. Da wird dann halt immer eine neue Datei pro vDisk aufgemacht und das pro Snapshot. So ist das halt.....

Gruss
Joerg

[MFju]

Und wie kann ich das wieder reduzieren? Ich kann die VM nicht mehr starten

Ich wollte das Ganze auch schon als OVF exportieren. Dann sollte ja ein File daraus wieder entstehen, aber er bricht mir mit einem Timeout nach ein paar Minuten ab.

Was meinst du mit einem Post?

[MFju]

Aktive den Techmode, schalte den dropbear ssh ein und poste eine Liste aller Dateien. Dein Anhang kam hier nicht an da in diesem Forum kein Platz mehr fuer Attachements ist und du diese bei einem Free Hoster ablegen musst. Des weiteren ist der Datastorebrowser nicht sehr geeignet um sich einen ueberblick zuverschaffen.

Entweder hattesst du offende Snapshots oder aber Thinprovisioning am laufen. Letzteres erzeugt aber keine zusaetzlichen Dateien und somit werden die Snapshots das Problem sein.

Poste mal ein Dateiliste, die VMX, die VMSD und den Inhalt der kleinen *.vmdk Descriptor Dateien.

Gruss
Joerg

So anbei die Files. Ich hoffe du kannst mir helfen.

[irix]

Das Problem ist doch nun erkannt. Zeigt der Snapshotmanager denn die Snaps noch an? Die *.vmsd macht eigentlich einen guten Eindruck. Was ich aber nicht ganz verstehe ist das er fuer den ersten Snap 2 Disks ermittelt hat aber nur fuer eine sind die Infos gelistet. Die Nummerierung der Dateien ist auch ein bisschen komisch.

Wichtig ist es halt nur einen Snap zuloeschen der kleiner ist als der Momentane freie Platz. Da dort Snaps inkl. Arbeitesspeicher gemacht worden sind darf die VM nicht mehr eingeschaltet werden da sonst gleich der Platz wieder ausgeht.

Evtl. kann man die hinten Snaps mal auf einen andere DS verschieben und die *.vmsd Datei anpassen um genug Platz zubekommen fuer das Loeschen. Allerdings solltest du da mal den Ulli aka continum warten.

Gruss
Joerg

[MFju]

Also im Snapshotmanager habe ich nichts drin.

Welche Files sind dann die Snapshotfiles? Die vmsn sind lt. Datum seit Januar. Aber seit dem ist keiner mehr erstellt worden.

Wie kann ich dann die Snapshotfiles löschen bzw. wie weiß ich welche Datei die richtige ist?

Wenn ich wie gesagt, eine der FLAT-Dateien wegkopiere und diese lösche, dann startet die VM erst gar nicht

[irix]

Also im Snapshotmanager habe ich nichts drin.

Dann ist die vmsd beschaedigt oder enthaelt ungueltigen Kram. Der Snapshotmanager bezieht seine Infos aus besagter Datei. Der ESX(i) Host selber werden die kleinen Descriptor Dateien und die vmx aus.

Welche Files sind dann die Snapshotfiles? Die vmsn sind lt. Datum seit Januar. Aber seit dem ist keiner mehr erstellt worden.

Die mit den -00000x im Namen. Ich hatte bereits gesagt das wir eine Dateiliste der VM brauchen. Da waere dir dann selber auch aufgefallen das es in der Realitiaet anders aussieht als im Datastorebrowser. Da sieht man dann auch das Wort "delta" in den Dateinamen.

Wie kann ich dann die Snapshotfiles löschen bzw. wie weiß ich welche Datei die richtige ist?

Wenn ich wie gesagt, eine der FLAT-Dateien wegkopiere und diese lösche, dann startet die VM erst gar nicht

Die FLAT ist immer die Basis Festplatte. Wenn man die loescht geht logischer Weise nichts mehr. Die Delta Dateien enthalten dann die Aenderungen am System zu dem Zeitpunkt wo ein Snapshot erststellt wird.

Gruss
Joerg

[MFju]

Aktive den Techmode, schalte den dropbear ssh ein und poste eine Liste aller Dateien. Dein Anhang kam hier nicht an da in diesem Forum kein Platz mehr fuer Attachements ist und du diese bei einem Free Hoster ablegen musst. Des weiteren ist der Datastorebrowser nicht sehr geeignet um sich einen ueberblick zuverschaffen.

Kannst du mir hier auf die Sprünge helfen? Das hatte ich bisher noch nie benötigt. Danke

[irix]

Sofern du ESXi 4.0 hast ist die Prozedur unter anderem hier beschrieben:
http://www.vm-help.com/esx40i/ESXi_enable_SSH.php Wenn du noch nie mit VI gearbeitet hast mach vorher immer eine Sicherheitskopie und uebe evtl. vorher.

Deine Datastores liegen dann unter /vmfs/volumes und da kannst du dann mit

Code: Alles auswählen

cd /vmfs/volumes

rein wechseln.

Gruss
Joerg

[MFju]

Sodala, ich sitz jetzt beim Kunden direkt auf der Konsole und bin im Verzeichnis sbs2003

Hier die Log mit dem Dateiverzeichnis

[irix]

Da kann man die Deltas auch besser erkennen. Wievel Platz ist in dem Datastore denn noch genau frei und gibts die Moeglichkeit Sachen auf einen anderen DS auszulagern?

Gruss
Joerg

[MFju]

Es sind genau noch 14MB frei.
Leider nicht. Der Store würde eigentlich 830GB umfassen, allerdings habe ich nur 2 virtuelle Festplatten mit jeweils 256GB erstellt. Und der Rest hat sich jetzt selbständig gemacht.

Einen 2. DS habe ich leider nicht bzw. auch nicht die Möglichkeit dazu.

Die nicht benötigten Dateien kann man nicht einfach so löschen?

Und eine Möglichkeit die Dateien wieder zu einer zusammen zu fassen geht auch nicht?

[irix]

Es sind genau noch 14MB frei.
Leider nicht. Der Store würde eigentlich 830GB umfassen, allerdings habe ich nur 2 virtuelle Festplatten mit jeweils 256GB erstellt. Und der Rest hat sich jetzt selbständig gemacht.

Snaps werden aber nicht automatisch sondern vom Admin oder einem Backupprogramm angelegt.

Einen 2. DS habe ich leider nicht bzw. auch nicht die Möglichkeit dazu.

Die nicht benötigten Dateien kann man nicht einfach so löschen?

Einzig die Logs koennte man loeschen/verschieben. Den letzten Snap muesste man auslagern und die Kette editieren.

Und eine Möglichkeit die Dateien wieder zu einer zusammen zu fassen geht auch nicht?

Natuerlich, nur braucht man zum loeschen (Einarbeiten der der Aenderungen) Platz. Wie schon beschrieben macht man es vom Anfang der Kette bis zum Ende. Bei 4.1 hat man die das beim "Delete all" dann auch so realsiert?

Entweder du wartest auf Ulli welcher den Aufbau und Abhaengigkeiten auswendig kennt oder aber wie telefonieren (Schick eine PM). Allerdings wuerde ich erst ein Backup machen der akt. VM mittels vRanger bevor ich da an den Livedaten editiere. Das heist es wird ein Windows Rechner mit 550GB Platz benoetigt.

Gruss
Joerg

[MFju]

Also ich hab hier eine Rechner mit XP, an dem ist einen TB-Platte per USB angeschlossen. Reicht das auch?

[irix]

Also wir haben dem ESXi mal eine temporaere Lizenz spendiert und wollten dann guter Dinge ein Backup mittels vRanger machen. Das scheitet dann daran das er bei der Snapshotueberpruefung bemaengelt das dieser fuer die Dateigroesse nicht geeignet sei. Der 880GB Datastore hat nur ein 1MB Blocksize was die max. Dateigroesse auf 256GB limitiert. Aber genau diese Groesse haben auch die vDISKs.

Die VM ist nicht auf diesem 4.0 ESXi erstellt worden sondern hat noch HW4 und kommt somit von einem ESX3.5?. Der aelteste Snapshot ist vom Oktober letzten Jahres was durchaus fuer einen der vorderen Plaetze auf der Liste "Ich lasse meinen ESX unbeaufsichtigt und alles wird gut" reicht.

Im Moment werden die Daten per FastSCP auf eine USB Platte uebertragen. Aber bei nur 15MB/s dauert das natuerlich.....

Gruss
Joerg

[irix]

So ... nachem eigentlich klar war das die Snapshotkette Intakt ist haben wir auf einem vorhanden Laptop und der USB Platte schnell ein Starwind ISCSI zum fliegen gebracht und dem ESXi einen weiteren Datastore bekannt gemacht.

Der Vorgang zum Erstellen einer Sicherheitskopie wurde abgebrochen und die 2 Tasks zum kopieren der VMDKs angestossen.

Code: Alles auswählen

vmkfstools -i /path/local/vm/name-0000006.vmdk /path/iscsi/vm/system.vmdk -d thin
vmkfstools -i /path/local/vm/name_1-0000007.vmdk /path/iscsi/vm/daten.vmdk -d thin


Da es eine HW4 VM ist wurde die *.vmx kopiert und angepasst was die Namen der beiden SCSI Platten angeht und der Verweis auf die Swapdatei geloescht.

Wenn der Vorgang morgen frueh abgeschlossen ist kann die neue VM in den das Inventory mit aufgenommen werden. Morgen Abend wird dann der alte Datastore geloescht und mit einer passenden Blocksize neu angelegt und die Daten zurueck kopiert.

Merke: Wenn man einen Server mit Remote Managementkarte hat oder zumind eine KVMIP Loesung muss man Nachts nicht durch die Gegend fahren .

Gruss
Joerg

[continuum]

ach ja - morgen muss der XP-rechner mit der USB-platte dann fuer einen Tag Server spielen - das ist dann aber sehr langsam tagsueber - nicht wundern

schnell ein Starwind ISCSI zum fliegen gebracht

sollten wir das nicht lieber krabbeln nennen ?

[irix]

ach ja - morgen muss der XP-rechner mit der USB-platte dann fuer einen Tag Server spielen - das ist dann aber sehr langsam tagsueber - nicht wundern

schnell ein Starwind ISCSI zum fliegen gebracht

sollten wir das nicht lieber krabbeln nennen ?

Aber das Krabeln hat fuer die Damen gereicht Die 2x256GB waren morgens um halb Fuenf bereits fertig und die VM konnte importiert und gestartet werden.

Wie haben nun gerade das ganze Retour gestartet. Leider laesst sicht der 1. Datastore eines ESXi, auch wenn der von USB startet, nicht loeschen und neuformatieren! Er legt dort zur Laufzeit Logs ab welche er dann auch nicht loeschen kann und will im Betrieb.

Wahrscheinlich kann man ihm ueber die Advcfg irgendwie sagen das er die auf den anderen DS tun soll aber das haben wir uns geschenkt und es bleibt somit bei den 1MB Blocksize.

Ich moechte mal wissen was VMware sich dabei gedacht hat den Blocksize Wert bei der Installation nicht einfach mit abzufragen. *seufz*

Gruss
Joerg

[Dayworker]

Ich moechte mal wissen was VMware sich dabei gedacht hat den Blocksize Wert bei der Installation nicht einfach mit abzufragen. *seufz*

Die sind wahrscheinlich davon ausgegangen, daß keiner bei den damit verbundenen Nachteilen auf die Idee kommen würde, den ersten DS mit Hypervisor und VMs zu beflastern. Auf jedem anderen OS wird ja auch die Trennung von System und Daten propagiert...

[MFju]

so, mittlerweile läuft die Kiste wieder.

Nochmals vielen Dank an Jörg und Ulli.

Ihr seid echt top!!

[irix]

Ich moechte mal wissen was VMware sich dabei gedacht hat den Blocksize Wert bei der Installation nicht einfach mit abzufragen. *seufz*

Die sind wahrscheinlich davon ausgegangen, daß keiner bei den damit verbundenen Nachteilen auf die Idee kommen würde, den ersten DS mit Hypervisor und VMs zu beflastern. Auf jedem anderen OS wird ja auch die Trennung von System und Daten propagiert...

Die Kiste bootet von USB. Des weiteren gibs faelle, das wenn man z.B nen RAID1 mit grossen Platten machst, du darauf keine 2 virtuellen Volumes im RAID Kontroller erstellen kannst.

Gruss
Joerg

[Dayworker]

Dann geht also zumindest mit einigen Controllern nicht mal die popelige per Win-Treiber oder normale OS-Mittel realisierte Funktionalität oder ist das allein einem großen Volume geschuldet?

[irix]

Dann geht also zumindest mit einigen Controllern nicht mal die popelige per Win-Treiber oder normale OS-Mittel realisierte Funktionalität oder ist das allein einem großen Volume geschuldet?

Hat mir der groesse nichts zutun sonder haeng an der Kombination von Raidlevel+Kontroller. Bei einem PERC5+RAID10 ist es z.B so.

Gruss
Joerg