Hallo,
nach dem der Support mich leider abgewimmelt hat, da mein Board in meiner Test und Spielumgebung unter 6.0 nicht mehr Supported ist, mal die Frage was hier für Erfahrungen bereits mit dieser Materie gesammelt wurden.
Folgendes Problem, seit dem Update von 5.5 auf 6.0 kann ich keine VM's mehr sichern bei denen das CBT aktiv ist. Dieses wirkt sich in 2 verschiedenen Fehlerverhalten aus, die aber die gleiche Ursache haben:
1. Ich kann von einer Windows VM, die VSS nutzt keinen stillgelegten Snapshot erstellen, das vCenter meldet: Fehler beim Speichern des Snapshots: msg.snapshot.error-QUIESCINGERROR.
2. Ich kann eine Linux VM, von der zwar erfolgreich ein Snapshot erstellt wurde keine Sicherung machen, die Backup Software meldet, dass die Blöcke nicht identifiziert werden können.
Sobald ich bei Fehler 1 das CBT in der VM deaktiviere, kann ich wieder einen Snapshot erstellen, aber ob eine Sicherung möglich ist bezweifle ich.
Ich habe das Ganze auf ein Speicherproblem im Bereich des CBT eingrenzen können, der 256 MB CBT Heap reicht bei mir nicht aus, im vmware.log steht:
Creating cbt node 19095c-cbt failed with error Cannot allocate memory (0xbad0014, Out of memory).
Und im vmkwarning.log:
WARNING: Heap: 3716: Heap cbt (252728160/268440416): Maximum allowed growth (15712256) too small for size (39325696)
WARNING: Heap: 4205: Heap_Align(cbt, 39321600/39321600 bytes, 8 align) failed. caller: 0x41801a37450e
WARNING: CBT: 191: No memory available! Called from 0x41801a37450e
Demnach sind von den 256 MB nur noch 16 MB frei, Der Host möchte aber für einen Snapshot der 140 GB VM 40 MB im Heap reservieren, was nicht klappt...
Nach Aussage vom VMware Support dürfte der Max Wert des Heap Speichers erst bei 1024 Disks die größer als 128 GB sind erreicht werden. Demnach werden pro MB VMDK 2 Byte CBT Heap benötigt. (Wenn ich mich nicht verrechnet habe.) Demnach dürften meine 140 GB VMDK Files der einen VM eigentlich nur 280 KB reservieren dürfen und nicht 40 MB...
Der VMware Support meinte aber bei allen anderen würde das funktionieren, ich sei der einzige der das Problem habe und das würde auf meine nicht supportete Hardware zurückzuführen sein. Er vermute irgendein Memory Leak im BIOS oder ähnliches.
Ich habe hier 2 Supermicro Server, einen mit Intel C602 Chipsatz und 2x Xeon E5-2609 und einen älteren mit Intel 5000P Chipsatz und 2x Xeon E5320. Bei beiden verhält sich das Problem gleich.
Um das Problem zu beheben kann ich aktuell nur VM’s abschalten, dann kann ich diese fehlerfrei sichern.
Ich hoffe wir bekommen die Tage die Dell Server für einen Kunden zuerst zu uns, damit ich mal einen Supporteden Server in die Umgebung integrieren kann um die VM’s auf einer Solchen Maschine zu starten. Dann habe ich Gewissheit, ob es wirklich an der Hardware liegt, bis dahin bezweifle ich es aber...
Aber vielleicht hat ja hier auch noch jemand einen Hinweis für mich. Denn aktuell hätte ich ein schlechtes Gefühl wenn ich es beim Kunden installieren muss. Und dieses Problem wollte ich eigentlich nicht erst beim Kunden analysieren.
Viele Grüße
Stefan
Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
[solved] Probleme mit CBT
Hallo Namensvetter 
,
zu 1: auch ohne CBT läuft eine Sicherung. Nur halt dann immer eine Vollsicherung, ähnlich dem seligen VCB.
zu 2. Supported deine Sicherungssoftware denn schon ESXi 6.0 ? Stichwort API. Nicht ohne Grund hat z.B. Veeam noch keine Support für Vsphere 6.0 > Siehe dazu das Veeam Forum.
Test und Spielwiesen VM's sichern?
Ohne freigegebene Sicherungssoftware würde ich 6.0 eh noch nicht bei einem Kunden installieren.
Was passiert denn, wenn du die Sicherung mal mit vSphereDataProtection 6.0 testest?
,
zu 1: auch ohne CBT läuft eine Sicherung. Nur halt dann immer eine Vollsicherung, ähnlich dem seligen VCB.
zu 2. Supported deine Sicherungssoftware denn schon ESXi 6.0 ? Stichwort API. Nicht ohne Grund hat z.B. Veeam noch keine Support für Vsphere 6.0 > Siehe dazu das Veeam Forum.
Test und Spielwiesen VM's sichern?
Ohne freigegebene Sicherungssoftware würde ich 6.0 eh noch nicht bei einem Kunden installieren.
Was passiert denn, wenn du die Sicherung mal mit vSphereDataProtection 6.0 testest?
Moin,
die Backup Applikation kann man bei diesem Problem eigentlich komplett ausklammern, da ich das Snapshot Problem auch habe wenn ich aus dem VCenter heraus einen Stillgelegten Snapshot erstellen möchte.
- Snapshot schlägt fehl.
- VMotion der VM auf einen leeren Host.
- Snapshot klappt.
- Weitere VM's auf den Host verschieben.
- Snapshot schlägt fehl.
Und das ganze hat auch nichts mit dem RAM zu tun, denn ein Host hat hier 32 GB und der andere 128 GB. Es hängt an der Kapazität der VMDK's bei denen das CBT aktiv ist.
Kann jemand sagen, wie man sich den CBT Heap auf der Konsole anzeigen lässt? Würde gerne mal wissen wie der Füllstand dieses Speichers sich verändert wenn man VM für VM auf einem Host einschaltet.
Viele Grüße
Stefan
die Backup Applikation kann man bei diesem Problem eigentlich komplett ausklammern, da ich das Snapshot Problem auch habe wenn ich aus dem VCenter heraus einen Stillgelegten Snapshot erstellen möchte.
- Snapshot schlägt fehl.
- VMotion der VM auf einen leeren Host.
- Snapshot klappt.
- Weitere VM's auf den Host verschieben.
- Snapshot schlägt fehl.
Und das ganze hat auch nichts mit dem RAM zu tun, denn ein Host hat hier 32 GB und der andere 128 GB. Es hängt an der Kapazität der VMDK's bei denen das CBT aktiv ist.
Kann jemand sagen, wie man sich den CBT Heap auf der Konsole anzeigen lässt? Würde gerne mal wissen wie der Füllstand dieses Speichers sich verändert wenn man VM für VM auf einem Host einschaltet.
Viele Grüße
Stefan
So, ich habe noch mal getestet, wir hatten da noch einen Poweredge R730xd mit 512 GB RAM 2x E5-2797. Heftig, 14 Kerne pro CPU und mit HT 56 logische Prozessoren... 
Neue Installation mit ESXi 6.0, in das Cluster aufgenommen und die VM's rübergeschoben. Snapshot erstellt und gleicher Fehler...
Also Support Case bei VMware wieder auf machen...
Neue Installation mit ESXi 6.0, in das Cluster aufgenommen und die VM's rübergeschoben. Snapshot erstellt und gleicher Fehler...
Also Support Case bei VMware wieder auf machen...
Neu installieren habe ich noch nicht getestet, wird aber auch nichts bringen, da der CBT Herap einfach voll ist. Um das abzustellen müsste ich ja vermutlich alle meine VM's neu machen, aber soll ich nach einem Update von ESXi 5.5 auf ESXi 6.0 alle Server neu installieren? Mit ESXi 5.5 hat ja noch alles funktioniert...
Es genügt schon ein paar VM's mit ausreichend großer VMDK auf einem Host zu starten, und dabei ist es egal ob es eine Windows oder Linux VM ist, hauptsache das CBT ist aktiv.
Ich kann mir auch nicht vorstellen, dass das Gast OS für einen Speicherfehler auf dem Host verantwortlich ist. Irgendwas in meiner Umgebung verursacht es, dass der für den CBT Heap benötigte Speicher falsch berechnet und reserviert wird. Denn 40 MB für eine 140GB VM, das kann nicht richtig sein...
In den VMware Communities ist übrigens noch jenamd der das gleiche Problem hat. Er ist nun auf 5.5 zurück gegangen und das Problem ist wieder weg.
Klar Tools sind aktuell und Hardware ist Version 10.
Ich habe bei VMware den Case wieder auf gemacht und hoffe dass die da etwas finden...
Es genügt schon ein paar VM's mit ausreichend großer VMDK auf einem Host zu starten, und dabei ist es egal ob es eine Windows oder Linux VM ist, hauptsache das CBT ist aktiv.
Ich kann mir auch nicht vorstellen, dass das Gast OS für einen Speicherfehler auf dem Host verantwortlich ist. Irgendwas in meiner Umgebung verursacht es, dass der für den CBT Heap benötigte Speicher falsch berechnet und reserviert wird. Denn 40 MB für eine 140GB VM, das kann nicht richtig sein...
In den VMware Communities ist übrigens noch jenamd der das gleiche Problem hat. Er ist nun auf 5.5 zurück gegangen und das Problem ist wieder weg.
Klar Tools sind aktuell und Hardware ist Version 10.
Ich habe bei VMware den Case wieder auf gemacht und hoffe dass die da etwas finden...
Ich habe mit dem Dell Server noch mal etwas getestet...
8 Server 2012 VM's mit einer 40 GB VMDK und einer 88 GB VMDK geklont, also 128 GB VMDK pro Server.
Und natürlich das CBT in den VM's aktiviert.
Sind 4 dieser VM's eingeschaltet kann ich noch einen Snapshot erstellen. Starte ich die 5. VM dann kann ich von keiner mehr einen Snapshot erstellen und im vmkwarning.log habe ich wieder die No Memory available! Fehlermeldungen...
Ich wundere mich dass kaum jemand dieses Problem hat, wo es doch hier scheinbar zu 100% reproduzierbar ist...
8 Server 2012 VM's mit einer 40 GB VMDK und einer 88 GB VMDK geklont, also 128 GB VMDK pro Server.
Und natürlich das CBT in den VM's aktiviert.
Sind 4 dieser VM's eingeschaltet kann ich noch einen Snapshot erstellen. Starte ich die 5. VM dann kann ich von keiner mehr einen Snapshot erstellen und im vmkwarning.log habe ich wieder die No Memory available! Fehlermeldungen...
Ich wundere mich dass kaum jemand dieses Problem hat, wo es doch hier scheinbar zu 100% reproduzierbar ist...
Ich glaube nicht dass es an Dell liegt, denn ich habe das gleiche Problem bei 2 meiner alten Supermicro Server und die sind mit dem Std. VMware ISO installiert.
Den Dell Server habe ich mir ja nur geschnappt, da VMware mir nicht helfen möchte, da die Supermicros für ESXi 6.0 nicht mehr zertifiziert sind. Wollte damit beweisen, dass es nicht an meiner nicht zertifizierten Hardware liegt...
Den Dell Server habe ich mir ja nur geschnappt, da VMware mir nicht helfen möchte, da die Supermicros für ESXi 6.0 nicht mehr zertifiziert sind. Wollte damit beweisen, dass es nicht an meiner nicht zertifizierten Hardware liegt...
Es geht voran, VMware hat bestätigt, das auf dem Dell Server das gleiche Verhalten existiert wie auf meinen Supermicro Systemen. Die haben das nun an die Entwicklung weitergeleitet.
Und es gibt auch noch einen identischen Fall von jemandem anders der nun auch vom Support bearbeitet wird.
Also erstmal abwarten...
Und es gibt auch noch einen identischen Fall von jemandem anders der nun auch vom Support bearbeitet wird.
Also erstmal abwarten...
Kurzes Update, gestern habe ich für VMware Logs und einen Core Dump erstellt, die wollen das mit deren Erkenntnissen vergleichen...
Gestern kam ja auch dieser Critical Patch: http://kb.vmware.com/kb/2111976
Aber der ändert noch nichts am Verhalten...
Gestern kam ja auch dieser Critical Patch: http://kb.vmware.com/kb/2111976
Aber der ändert noch nichts am Verhalten...
Nun gibt es zu dem Problem auch einen off. Eintrag.
Backing up a virtual machine with Change Block Tracking (CBT) enabled fails after upgrading to VMware ESXi 6.0 (2114076)
Das CBT Problem wird auch bei IBM als known issue aufgefuehrt.
http://www-01.ibm.com/support/docview.wss?uid=swg21640744
Edit Moderator: Link gefixed
Backing up a virtual machine with Change Block Tracking (CBT) enabled fails after upgrading to VMware ESXi 6.0 (2114076)
Das CBT Problem wird auch bei IBM als known issue aufgefuehrt.
http://www-01.ibm.com/support/docview.wss?uid=swg21640744
Edit Moderator: Link gefixed
Patch endlich verfügbar: http://kb.vmware.com/kb/2116126
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 6 Gäste