neue Harddisk im VM Guest hinzufügen dauert ewig

[mop]

Guten Morgen,

ich habe gestern einem virtuellen Gast eine neue "Festplatte" spendieren wollen; die Erstellung der 300GB Datendatei hat allerdings rund 4 Stunden gedauert und das (Gast)-System war in der Zeit Performance technisch gar nicht zu gebrauchen (ist bislang nur ein Gast-System drauf, deshalb weiß ich nicht ob es "Systemweit" Performance Probleme gab)

Als Host OS läuft ein RedHat. In der log Datei finde ich zum fraglichen Zeitpunkt tausende Einträge in der Form..

Command WRITE(10) took 1.755 seconds (ok)

Sind aber auch mal 2, 3, 7 oder 10 Sekunden ..

Im Host stecken SATA Platten, die in einem Raid6 Verbund sind (laut Controller-Anzeige
alles "okay").

Gibt es irgendwelche Kerrnel Parameter, die ich mitgeben sollte oder woran könnte es liegen?

Danke mop

[e-e-e]

Hallo,

war das eine Preallokated Disk als monolithic oder in 2GB-Häppchen? Eine growable Sparse Disk dauert bei mir nämlich 1 Sek., halt nur die Zeit zum anlegen der 2GB-Dateien.
Falls Du eine monotithic disk angelegt hast, ist der Host in der Lage so große Dateien zu händeln und ist überhaupt noch genug Platz auf dem Host?

[mop]

Hallo,

es ist eine Datendatei (also keine 2GB Häppchen) wobei ich angegeben hab, die gesamte Größe auf einmal zur Verfügung zu stellen. Auf dem Host ist noch genügend Platz vorhanden (insgesamt 4 Terrabyte, wobei ich 2 x 2 Terrabyte angelegt habe und über eine "Datengruppe" die vollen 4 Terrabyte zur Verfügung stelle).

Der Host hat damit soweit ich beurteilen kann keine Probleme.

Sobald ich etwas auf dem VM Guest mache, was auf die Platten schreiben soll, tauchen im Logfile in der Zeit ständig die genannte Meldung (command write ..) auftaucht.

Während der Zeit pendelt die "CPU Wait" auf dem Host zwischen 10% und 30% ?!

Gruß mop

[e-e-e]

Wie meinst Du das "es ist eine Datendatei", wenn Du eine vmdk anlegst und dabei festlegst, dass sie in 2GB gesplittet werden soll, ist die vmdk hinterher für die VM trotzdem als EINE virtuelle HDD von z.B. 200GB verfügbar, lässt sich bloß sehr viel besser händeln.

edit: Ist die HDD des Hosts eventuell so fragmentiert, dass das schreiben einer so großen Datei zum Kollaps führt?

[continuum]

Hoert sich an als ginge es um eine monolithicFlat - (einteilig preallocated)

Das das ewig dauert ist bekannt - am besten legt man so eine vmdk mit dem vdiskmanager und NICHT mit dem GUI

[mop]

Hallo,

ich hab keinen Schimmer was ihr mit "monolithic" und Co meint, deshalb ..

Ich hab die Festplatte über das Webinterface hinzugefügt, dabei das Häkchen bei "Allocate all disk space now" gesetzt und bei "Split into 2 GB files" nicht gesetzt.

Das hat ewig gedauert..

Danach hab ich die Platte in mein Gastsystem (ebenfalls Linux) eingebunden, mittels fdisk 'ne Partition erzeugt und mit mkfs formatiert .. das formatieren hat ebenfalls wieder ewig gedauert.

Kopiere ich jetzt Daten auf die virtuelle Maschine, dauert das auch wieder ewig .. sprich, sobald er schreibend auf die Platte(n) zugreift, ist's vorbei mit der Performance.

Nochmal zur Erwähnung .. als Host und Gast-System habe ich Linux im Einsatz. Mein Wissensstand ist der, dass Linux sich quasi "selbst" defragmentiert. Wenn dem nicht so ist, wie schiebe ich eine Defragmentierung an?

Gruß mop

[Dayworker]

Eventuell ist das Problem auch den 2TB-Partitionen geschuldet. Nicht jedes OS kommt damit vernünftig zurecht. Linux bietet da meist auch keine Sicherheit, mit jeder neuen Kernelversion wird wieder dran rumgeschraubt.

[continuum]

ich hab keinen Schimmer was ihr mit "monolithic" und Co meint, deshalb ..

dem kann man abhelfen : http://sanbarrow.com/vmdk/disktypes.html

[mop]

Habt ihr denn eine Idee, wie ich das Ganze testen kann, um zu sehen, ob es nun an der Partitionsgröße oder an etwas anderem liegt?

Nochmal zur Veranschaulichung .. ein df -h auf dem Host liefert mir mein "Daten-Verzeichnis" zurück, in dem ich meine VM Festplatten ablege(n möchte)

/dev/mapper/daten-vm 3,8T 1,0T 2,8T 26% /daten


Beim Link zur "Disktype Table" steht zwar "VMware Workstation uses this different types of virtual disks" und ich habe hier den VMWare Server (2), aber ich denke das hilft mir ein wenig zur Erklärung, danke

Gruß mop

[continuum]

alle hosted Produkte wie WS, VMserver und Fusion und VMplayer verwenden die selben Disktypen.

Sorry - dein anderes problem verstehen ich nicht - das Anlegen von monolithicFlat oder twoGbMaxExtendFlat dauert nun mal lange

[e-e-e]

Hallo,

ich würde an Deiner Stelle das RAID6 wieder entfernen, hat eine schlechte Performance wegen des doppelten Berechnungsaufwandes, dann lieber 2xRAID10 oder nur ein RAID5. Dann würde ich die vmdk's als preallokated-sparse disks anlegen (also Haken bei "Allocate all disk space now" und "Split into 2 GB files").

[Dayworker]

preallokated-sparse

Also entweder Preallocated oder Sparse, wobei Preallocated bei ausreichend Platz auf dem Host-Datenträger zu bevorzugen wäre. Das Anlegen einer größeren Flat-v.Disk dauerte bei mir auch über GUI nicht sehr lange. VMware scheint, zumindest unter einem Win-Host, so intelligent zu sein und nur Start- & Endpunkt der v.Disk anzugeben und für den Rest ist das Host-OS verantwortlich.

Ein Raid6 ist wirklich keine gute Wahl und ein Raid5 würde ich auch nur noch im Einzelfall machen. Ein Raid10 ist bei weitem schneller und im Fehlerfall auch wesentlich schneller wiederhergestellt. Allerdings brauchst du für die höheren Raid-Level auch einen vernünftigen HW-Raid-Controller ala Dell Perc 5i/6i, LSI Megaraid etc. Die Chipsatz-Comntroller sind, selbst wenn sie Raid10 anbieten, in jedem Fall tabu.

[shecki]

Hum Raid6 tabu?

Wir reden hier aber nur von Platten im Host richtig? Nicht von beispielsweise einem SAN oder einer NAS angezogene Festplatten?

Raid10 hat aber den unerfreulichen Nebeneffekt, nur 50% der Plattenkapazität zu haben, die man verbaut, wobei die Frage ist, wie viele Platten hier gesteckt sind, da könnte das Raid6 ähnlich viel verballern *g*

Gab es aber nicht die Möglichkeit, in der VM Festplatten einzubinden, die extern liegen?

Wenn nicht, würde ich für die 300 GB eventuell mal nfs versuchen, sprich 300 GB Partition anlegen, über nfs freigeben und in der VM einbinden, könnte was bringen. Hat man zumindest keine Kopfschmerzen mehr, ob besser 150 2 GB files oder ein 300 GB file, was mir persönlich beides nicht gefällt

[continuum]

(also Haken bei "Allocate all disk space now" und "Split into 2 GB files").

das ergibt den Typ "twoGbMaxExtentFlat"

[e-e-e]

Ooops,

wurde abgelenkt, da habe ich ja einen Mist geschrieben! Der Rest ist aber OK.

[Dayworker]

Das Raid6 möglicherweise weniger Verschnitt hat als ein Raid10, ist hierbei nicht das entscheidende sondern deren doppelte Paritätsberechnung. Ohne potenten Controller im Host sinkt die Datenrate sonst unerfreulich schnell. Ob man nun ein Flat-File anlegt oder in 2GB-Häppchen ist eigentlich egal, die Geschwindigkeit bleibt dieselbe. Allerdings sollte man dabei auch mal den Backup-Fall im Hinterkopf haben und da lassen sich 2GB-Häppchen zur Not auch noch auf mehrere BR-Disks verteilen. Bei einem Flat-File mit mehr als 50GB Größe scheidet das also schon mal aus.