Das Forum wurde aktualisiert. Wurde höchste Zeit. Wenn etwas nicht funktioniert, bitte gerne hier jederzeit melden.

[solved] Probleme mit CBT

Alles zum Thema vSphere 6, ESXi 6.0 und vCenter Server.

Moderatoren: Dayworker, continuum, Tschoergez, irix

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

[solved] Probleme mit CBT

Beitragvon Raudi » 23.03.2015, 23:09

Hallo,

nach dem der Support mich leider abgewimmelt hat, da mein Board in meiner Test und Spielumgebung unter 6.0 nicht mehr Supported ist, mal die Frage was hier für Erfahrungen bereits mit dieser Materie gesammelt wurden.

Folgendes Problem, seit dem Update von 5.5 auf 6.0 kann ich keine VM's mehr sichern bei denen das CBT aktiv ist. Dieses wirkt sich in 2 verschiedenen Fehlerverhalten aus, die aber die gleiche Ursache haben:

1. Ich kann von einer Windows VM, die VSS nutzt keinen stillgelegten Snapshot erstellen, das vCenter meldet: Fehler beim Speichern des Snapshots: msg.snapshot.error-QUIESCINGERROR.

2. Ich kann eine Linux VM, von der zwar erfolgreich ein Snapshot erstellt wurde keine Sicherung machen, die Backup Software meldet, dass die Blöcke nicht identifiziert werden können.

Sobald ich bei Fehler 1 das CBT in der VM deaktiviere, kann ich wieder einen Snapshot erstellen, aber ob eine Sicherung möglich ist bezweifle ich.

Ich habe das Ganze auf ein Speicherproblem im Bereich des CBT eingrenzen können, der 256 MB CBT Heap reicht bei mir nicht aus, im vmware.log steht:

Creating cbt node 19095c-cbt failed with error Cannot allocate memory (0xbad0014, Out of memory).

Und im vmkwarning.log:

WARNING: Heap: 3716: Heap cbt (252728160/268440416): Maximum allowed growth (15712256) too small for size (39325696)
WARNING: Heap: 4205: Heap_Align(cbt, 39321600/39321600 bytes, 8 align) failed. caller: 0x41801a37450e
WARNING: CBT: 191: No memory available! Called from 0x41801a37450e

Demnach sind von den 256 MB nur noch 16 MB frei, Der Host möchte aber für einen Snapshot der 140 GB VM 40 MB im Heap reservieren, was nicht klappt...

Nach Aussage vom VMware Support dürfte der Max Wert des Heap Speichers erst bei 1024 Disks die größer als 128 GB sind erreicht werden. Demnach werden pro MB VMDK 2 Byte CBT Heap benötigt. (Wenn ich mich nicht verrechnet habe.) Demnach dürften meine 140 GB VMDK Files der einen VM eigentlich nur 280 KB reservieren dürfen und nicht 40 MB...

Der VMware Support meinte aber bei allen anderen würde das funktionieren, ich sei der einzige der das Problem habe und das würde auf meine nicht supportete Hardware zurückzuführen sein. Er vermute irgendein Memory Leak im BIOS oder ähnliches.

Ich habe hier 2 Supermicro Server, einen mit Intel C602 Chipsatz und 2x Xeon E5-2609 und einen älteren mit Intel 5000P Chipsatz und 2x Xeon E5320. Bei beiden verhält sich das Problem gleich.

Um das Problem zu beheben kann ich aktuell nur VM’s abschalten, dann kann ich diese fehlerfrei sichern.

Ich hoffe wir bekommen die Tage die Dell Server für einen Kunden zuerst zu uns, damit ich mal einen Supporteden Server in die Umgebung integrieren kann um die VM’s auf einer Solchen Maschine zu starten. Dann habe ich Gewissheit, ob es wirklich an der Hardware liegt, bis dahin bezweifle ich es aber...

Aber vielleicht hat ja hier auch noch jemand einen Hinweis für mich. Denn aktuell hätte ich ein schlechtes Gefühl wenn ich es beim Kunden installieren muss. Und dieses Problem wollte ich eigentlich nicht erst beim Kunden analysieren.

Viele Grüße

Stefan

Experte
Beiträge: 1313
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 23.03.2015, 23:30

Hallo Namensvetter :grin: ,

zu 1: auch ohne CBT läuft eine Sicherung. Nur halt dann immer eine Vollsicherung, ähnlich dem seligen VCB.
zu 2. Supported deine Sicherungssoftware denn schon ESXi 6.0 ? Stichwort API. Nicht ohne Grund hat z.B. Veeam noch keine Support für Vsphere 6.0 > Siehe dazu das Veeam Forum.

Test und Spielwiesen VM's sichern? :grin:

Ohne freigegebene Sicherungssoftware würde ich 6.0 eh noch nicht bei einem Kunden installieren.

Was passiert denn, wenn du die Sicherung mal mit vSphereDataProtection 6.0 testest?

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 24.03.2015, 07:31

Moin,

die Backup Applikation kann man bei diesem Problem eigentlich komplett ausklammern, da ich das Snapshot Problem auch habe wenn ich aus dem VCenter heraus einen Stillgelegten Snapshot erstellen möchte.

- Snapshot schlägt fehl.
- VMotion der VM auf einen leeren Host.
- Snapshot klappt.
- Weitere VM's auf den Host verschieben.
- Snapshot schlägt fehl.

Und das ganze hat auch nichts mit dem RAM zu tun, denn ein Host hat hier 32 GB und der andere 128 GB. Es hängt an der Kapazität der VMDK's bei denen das CBT aktiv ist.

Kann jemand sagen, wie man sich den CBT Heap auf der Konsole anzeigen lässt? Würde gerne mal wissen wie der Füllstand dieses Speichers sich verändert wenn man VM für VM auf einem Host einschaltet.

Viele Grüße
Stefan

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 28.03.2015, 00:20

So, ich habe noch mal getestet, wir hatten da noch einen Poweredge R730xd mit 512 GB RAM 2x E5-2797. Heftig, 14 Kerne pro CPU und mit HT 56 logische Prozessoren... :-)

Neue Installation mit ESXi 6.0, in das Cluster aufgenommen und die VM's rübergeschoben. Snapshot erstellt und gleicher Fehler...

Also Support Case bei VMware wieder auf machen...

Experte
Beiträge: 1313
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 28.03.2015, 11:26

@Raudi: tritt der Fehler auch bei einer neu installierten Server 2008 / 2012 auf?

Sind die VMware Tools aktuell? Welcher vmHW Level?

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 28.03.2015, 19:26

Neu installieren habe ich noch nicht getestet, wird aber auch nichts bringen, da der CBT Herap einfach voll ist. Um das abzustellen müsste ich ja vermutlich alle meine VM's neu machen, aber soll ich nach einem Update von ESXi 5.5 auf ESXi 6.0 alle Server neu installieren? Mit ESXi 5.5 hat ja noch alles funktioniert...

Es genügt schon ein paar VM's mit ausreichend großer VMDK auf einem Host zu starten, und dabei ist es egal ob es eine Windows oder Linux VM ist, hauptsache das CBT ist aktiv.

Ich kann mir auch nicht vorstellen, dass das Gast OS für einen Speicherfehler auf dem Host verantwortlich ist. Irgendwas in meiner Umgebung verursacht es, dass der für den CBT Heap benötigte Speicher falsch berechnet und reserviert wird. Denn 40 MB für eine 140GB VM, das kann nicht richtig sein...

In den VMware Communities ist übrigens noch jenamd der das gleiche Problem hat. Er ist nun auf 5.5 zurück gegangen und das Problem ist wieder weg.

Klar Tools sind aktuell und Hardware ist Version 10.

Ich habe bei VMware den Case wieder auf gemacht und hoffe dass die da etwas finden...

King of the Hill
Beiträge: 12302
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 29.03.2015, 14:13

Welches ISO hast du zur Inst verwendet, das VMware- oder das Hersteller-ISO?

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 29.03.2015, 14:13

Ich habe mit dem Dell Server noch mal etwas getestet...

8 Server 2012 VM's mit einer 40 GB VMDK und einer 88 GB VMDK geklont, also 128 GB VMDK pro Server.

Und natürlich das CBT in den VM's aktiviert.

Sind 4 dieser VM's eingeschaltet kann ich noch einen Snapshot erstellen. Starte ich die 5. VM dann kann ich von keiner mehr einen Snapshot erstellen und im vmkwarning.log habe ich wieder die No Memory available! Fehlermeldungen...

Ich wundere mich dass kaum jemand dieses Problem hat, wo es doch hier scheinbar zu 100% reproduzierbar ist...

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 29.03.2015, 14:15

Dayworker hat geschrieben:Welches ISO hast du zur Inst verwendet, das VMware- oder das Hersteller-ISO?

Hersteller ISO, wobei es beim R730xd keines gibt, daher habe ich das beim R730 downgeloadet...

King of the Hill
Beiträge: 12302
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 29.03.2015, 14:28

Schon das Problem an Dell kommuniziert?
Wäre ja nicht das erste Mal, daß dort ein ISO kleine Probleme verursacht.

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 29.03.2015, 14:36

Ich glaube nicht dass es an Dell liegt, denn ich habe das gleiche Problem bei 2 meiner alten Supermicro Server und die sind mit dem Std. VMware ISO installiert.

Den Dell Server habe ich mir ja nur geschnappt, da VMware mir nicht helfen möchte, da die Supermicros für ESXi 6.0 nicht mehr zertifiziert sind. Wollte damit beweisen, dass es nicht an meiner nicht zertifizierten Hardware liegt...

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 31.03.2015, 08:10

Es geht voran, VMware hat bestätigt, das auf dem Dell Server das gleiche Verhalten existiert wie auf meinen Supermicro Systemen. Die haben das nun an die Entwicklung weitergeleitet.

Und es gibt auch noch einen identischen Fall von jemandem anders der nun auch vom Support bearbeitet wird.

Also erstmal abwarten...

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 10.04.2015, 08:52

Kurzes Update, gestern habe ich für VMware Logs und einen Core Dump erstellt, die wollen das mit deren Erkenntnissen vergleichen...

Gestern kam ja auch dieser Critical Patch: http://kb.vmware.com/kb/2111976

Aber der ändert noch nichts am Verhalten...

Member
Beiträge: 87
Registriert: 23.05.2013, 22:14

Beitragvon vl13 » 25.04.2015, 19:22

Nun gibt es zu dem Problem auch einen off. Eintrag.
Backing up a virtual machine with Change Block Tracking (CBT) enabled fails after upgrading to VMware ESXi 6.0 (2114076)

Das CBT Problem wird auch bei IBM als known issue aufgefuehrt.
http://www-01.ibm.com/support/docview.wss?uid=swg21640744

Edit Moderator: Link gefixed

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 25.04.2015, 19:39

Irgendwie der falsche Artikel, hier der korrekte Link:

http://kb.vmware.com/kb/2114076

Member
Beiträge: 178
Registriert: 18.03.2007, 00:02
Wohnort: Bremen

Beitragvon Raudi » 14.05.2015, 13:06

Patch endlich verfügbar: http://kb.vmware.com/kb/2116126

Member
Beiträge: 30
Registriert: 24.12.2014, 15:40

Beitragvon someone » 13.08.2015, 20:39

Eine Frage zu dem Thema CBT.
Ist es in der gratis Version verfügbar oder ist es ein "Bug", ähnlich wie dass VAAI funktioniert ohne Lizenz?

Jenseits von Gut & Böse
Beiträge: 11330
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 13.08.2015, 20:46

Alle mir bekannten VM Backuprogramme bedingen einen lizenzierten ESXi. Die einzige Ausnahme ist Trilead VM Explorer aber da stellt sich mir die Frage ob die CBT verwenden.

Gruss
Joerg

Member
Beiträge: 30
Registriert: 24.12.2014, 15:40

Beitragvon someone » 14.08.2015, 08:57

Die Software von Nakivo nutzt das CBT.
Ich nutze das für einen free esxi. Das heisst ich habe nur die Kosten für das Nakivo gehabt, da die Nakivo free version nicht mit der free esxi Version arbeitet.
Bin mir nur unsicher ob ich den cbt Modus verwenden darf.

Jenseits von Gut & Böse
Beiträge: 11330
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 14.08.2015, 09:05

Dann schalte es ein und berichte ob es geht.

Ob legal ist kann ich dir nicht sagen aber ich wenn VMware es untersagen will dann sollten sie es auch technisch unterbinden so wie sie es mit anderen Funktionen ja auch tun.

Ansonsten... investiere 450,- und das Thema ist vom Tisch.

Gruss
Joerg

Member
Beiträge: 30
Registriert: 24.12.2014, 15:40

Beitragvon someone » 14.08.2015, 19:28

Es funktioniert :)


Zurück zu „vSphere 6.0“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste