Seite 1 von 1

Probleme bei sehr grossen VMFS-datastores ....

Verfasst: 19.07.2016, 16:44
von continuum
Ich bin gerade frisch auf ein etwas obskures Problem gestossen und wollte mal hören ob jemand sonst schon so etwas gesehen hat.
Normalerweise sind VMDKs ja entweder ok oder unlesbar - einen obskuren Zwischenzustand gibt es in der Regel nicht.
Obskurer Zwischenzustand bedeutet hier dass eine VMDK Montags funktioniert, Dienstag unlesbar ist, Mittwochs wieder läuft und Donnerstags ein Timeout liefert.
Sowas kenne ich normalerweise nicht.
Jetzt hatte ich aber einen Fall wo so etwas gleich gehäuft auftrat.

Derzeit sehe ich die Ursache in einem Problem beim Handling von zuvielen sehr grossen Datastores. In meinem Fall hatten zum Beispiel die Hosts eines Clusters folgende Datastoregrössen verbunden:
1 x 114 TB !!!!!!
6 x 32 TB
+ ein paar kleiner Datastrores.
Ich nehme derzeit an, dass es Probleme gibt sobald ein Host mehr als 128 TB VMFS gleichzeitig gemountet hat.
Die Probleme aüsserten sich in einem extrem hohen Fragmentierungsgrad der VMDKs.
Die Performance der einzelnen VMDKs war dann teilweise extrem schlecht - allein der Versuch eine VMDK zu öffnen konnte eine halbe Stunde dauern und selbst dann noch komplett fehlschlagen.

Bitte erzählt doch mal wieviele TBs an VMFS-volumes bei euch in der Praxis so vorkommen.

Verfasst: 19.07.2016, 16:48
von irix
Ich meine mich zu erinnern das es mal das Thema mit der Heap Size gab, sprich der ESXi nur eine bestimmte Menge an VMDK-Groesse laden konnte weil dann irgendwelche Buffer aufgebraucht waren. In der Ecke wuerde ich mal nachforschen.

Hier sind die Datastore 4TB gross und dann 10-15 Stck.

Gruss
Joerg

Verfasst: 19.07.2016, 16:58
von bla!zilla
4 TB hat sich so als neue "Standard" herauskristallisiert. Die größten Datastores bei Kunden haben so 8 TB (Ausnahmen bestätigen die Regel). Extends habe ich bei keinem Kunden rumfliegen.

Verfasst: 19.07.2016, 18:30
von continuum
Hat schon mal jemand ein "illegal grosses" VMFS-volume gesehen - in meinem Fall 114 TB ?

Verfasst: 19.07.2016, 18:56
von irix
Nein.

Gruss
Joerg

Verfasst: 20.07.2016, 15:59
von bla!zilla
Nope. So verrückt war noch keiner - also zumindest in meinem Kundenkreis.

Verfasst: 20.07.2016, 16:39
von Whitemoon
Moin,
bei uns ist alles zwischen 5-10TB groß.
Aber 114 ist schon eine Ansage... da würden mich die Bewegründe interessieren. :)


Gruß,
Dani

Verfasst: 21.07.2016, 11:20
von soehl
Hallo,

wir nutzen LUNs bis max. 16TB, einige Hosts sehen von den 16TB-Luns über 30 Stück.

Gruß, S.

Verfasst: 22.07.2016, 16:55
von continuum
@ soehl

Gibt es bei euch "obskure Probleme" ?
Habt ihr schon mal untersucht ob die vmdks bei euch extrem fragmentiert sind ?

Verfasst: 22.07.2016, 22:35
von kastlr
Hallo,

wäre echt mal interessant, die Meldungen in
  • vmkernel.log,
  • vobd.log
  • vmware.logs der einzelnen VM's
zu sehen.

Eventuell liegt es ja daran, das ein einzelner Host mehr als 30 TB an vmdk's zu bedienen hat.
In den folgenden Artikeln wird auf die Verwaltung großer vmdk's bzw. aktiver Workingsets eingegangen.
Understanding the VMFS heap eviction process in ESXi 5.5 and later (2077898)
Configuring VMFS Pointer Block Cache
vSphere 5.5 Storage Enhancements Part 2: VMFS Heap

Gruß,
Ralf

Verfasst: 24.07.2016, 02:41
von soehl
continuum hat geschrieben:@ soehl

Gibt es bei euch "obskure Probleme" ?
Habt ihr schon mal untersucht ob die vmdks bei euch extrem fragmentiert sind ?


Nein, es gibt keine obskuren Probleme.Was heißt denn extrem fragmentiert?
Die Option /VMFS3/MaxAddressableSpaceTB steht auf 128.