VMware-Forum

Hallo,

ich bin am verzweifeln.
Vorgeschichte:
Im Jänner ging unser neuer Server in Betrieb. Nach einwöchiger Testphase (alles ok) haben wir das Ding ins Rechenzentrum verlegt.

Server:
- HP Proliant Server, Dualcore 3 GB Speicher.
- Ubuntu Linux 8.04 32 bit
- Linux Softraid 1 mit 2 SATA Fesplatten - den onBoard fake-Raid Controller verwenden wir - nicht.
- VMware 2.0 Server

Auf den VMware Server 2.0 haben wir dann ein Ubuntu Linux 8.04 32bit Host installiert. Die VMware Vorgaben bzgl. Festplatte (SCSI) haben wir verwendet. Der Host hat ein GB Speicher zur Verfügung und macht Mail(inkl. ClamAV/SpamAssassin), Web(Apache + MySQL) für ca 20 Domains (alles eher kleinere Geschichten).

Dann gabs im Produktivbetrieb auch schon die ersten Probleme. Bei etwas mehr Plattenlast (zb kopieren von mehreren GB von A nach B auf der Festplatte) oder beim täglichen Backup (rsync over ssh zu uns ins Büro) wurde die VM immer langsamer. Zb kopierte man 1GB an Daten, hatte man zuerst an die 7MB/s Speed, innerhalb weniger Minuten waren es nur mehr ein paar KB. Die Disk I/O am VMware Server(HP) war unglaublich hoch > mehr als 8. Stoppte man den Kopiervorgang und startete ihn später gings wieder mit voller Geschwindigkeit (ein paar Minuten halt). Ich habe dann in der VM den SCSI-Hostcontroller auf "Buslogic" geändert. Damit lief der Server zwar nicht sehr schnell, aber es funktionierte. Da I/O Problem tritt bei großen Datenmengen und Schreib/Lesevorgängen zwar noch immer auf, aber vernachlässigbar.

Ich hab ein wenig im Internet recherchiert, und stoß im offiziellen englischen VMware Forum darauf, das dieses Problem mit der Disk I/O bekannt ist und nur bei Linux mit einen Softraid auftritt! JUHUU! :/ Abhilfe sollte schaffen, sich ne neue VM aufzusetzen und statt SCSI, virtuelle IDE Festplatten zu verwenden. Die Konvertierung gelangt mir leider nicht ("öffnen sich doch das 50GB Harddiskfile in einen Texteditor und ändern Sie die ersten Zeilen ab, bla). Meine zweite Idee, die Festplatte mit Ghost oder ähnlichen zu klonen und dann auf einer IDE zu restoren funktionierte dank des vorher beschriebenen Disk I/O auch nicht.

Gut, damit blieb das ganze auf SCSI Basis. Es funktionierte ja alles.
Einen Monat später installierten wir eine weitere VM. Für unsere Warenwirtschaft(Postgres) und Groupware (MySQL) - ebenfalls auf Ubuntu Basuis. Und mit IDE Platten natürlich. Hier passt der Speed und es gibt keine Probleme mit der Diskload.

Seit aber ca einen Monat, oder vl zwei, haben wir das Problem das in der Früh die IDE-basierende VM tot ist. Linux läuft noch, aber ich kann nicht mal ein "ls", "top" oder "reboot" eingeben. Gebe ich zb "reboot" ein, kommt ein "command not found", oder ich bekomme auf einmal eine Login Shell, die dann wieder abbricht und mich in der Bash landen lässt(??), etc, etc, SEHR SELTSAM. Daraufhin ist ein Reset der VM notwendig, anschließend muß man manuell ein FSCHK durchführen, die VM wieder reseten (da keine commandline befehle funktionieren) und nochmals starten.

Ich habe bisjetzt noch nicht nachvollziehen können warum, aber heute hatte ich wieder das Problem das die zweite VM tot war. Gestern hatte ich aber auf der ersten VM (eben die SCSI) viele Daten geändert und RSYNC hatte viel mit dem Backup zu tun.

Ergo, ist VM#1 (SCSI) ausgelastet, wird das Dateisystem von VM#2 zerstört.


Was ratet ihr mir? VM#1(SCSI) kann ich nicht so einfach neu aufsetzen, da dies im produktiven Betrieb ist und das kopieren das GBs an Daten dank der Disc-Load fast nicht möglich ist.


DANKE für eure Hilfe,
patrick

verwendest du sparse vmdks ??? - das sind die wachsenden Versionen

Poste mal bitte die vmx-Datei. Das dürfte schon viel erklären.

hmm ich dachte ich verwende fixe...

aber nein, in vmware steht bei beiden "not preallocated".
nicht so gut gell?
Kann ich das switchen?

ich arbeite zwar schon seit 2000 mit VMware aber hauptsächlich mit der workstation =)

vm mit SCSI (die böse)



vm mit IDE

Disk types:
0 : single growable virtual disk
1 : growable virtual disk split in 2GB files
2 : preallocated virtual disk
3 : preallocated virtual disk split in 2GB files
4 : preallocated ESX-type virtual disk
5 : compressed disk optimized for streaming

...sollte dein spare-Disk in eine Preallocated in 2GB-Häppchen konvertieren. Die 2GB-Stücke sind meist praktischer und haben keine Geschwindigkeitseinbussen. Dazu lassen sie sich wesentlich besser auf ein optisches Medium verteilt sichern.

VORSICHT
die VMs verwenden teilweise snapshots - wenn du bei VMs mit snapshots per vdiskmanager den typ aenderst musst du drauf achten den richtigen snapshot anzugeben ...
der wird dann direkt mit der basedisk gemerged

danke für den hint!

ich werde morgen den application server umwandeln.
dann mal die SCSI Disk übers Inet (sollte bei ner 100Mbit Leitung ja zackig gehen) auf mein notebook kopieren, dort den vmware server anwerfen, mittles ghost auf eine IDE Disk kopieren und wieder zurück auf den Server kopieren.

Gibts eigentlich ne möglichkeit eine SCSI Disk zu einer IDE Disk umzuwandeln?

SCSI nach IDE umschreiben und zurueck mach ich dir - poste den descriptor
dann kannst du dir das stumpfsinnige Kopieren sparen ...

danke für deine Hilfe, mit Descriptor meinst du die virtuelle Festplatte oder? Das sind 20GB... oder täusch ich mich?

-rw------- 1 root root 8,5K 2009-07-23 09:53 web-mail.nvram
-rw------- 1 root root 20G 2009-07-23 10:00 web-mail.vmdk
drwxrwxrwx 2 root root 4,0K 2009-05-20 09:23 web-mail.vmdk.lck
-rw------- 1 root root 0 2009-03-06 10:42 web-mail.vmsd
-rwxr-xr-x 1 root root 2,4K 2009-05-20 09:23 web-mail.vmx
-rw------- 1 root root 263 2009-03-17 06:23 web-mail.vmxf

Nein - der descriptor ist normalerweise eine externe kleine Textdatei.
Nur bei dem vmdk-typ den du verwendest ist diese kleine Textdatei in die grosse vmdk eingebettet.
Bei Windowshosts kann man diese ganz einfach extrahieren mit

dsfo name.vmdk 512 800 embedded.descriptor

Unter Linux ist das mal wieder etwas schwieriger

hmmm das müßte man mit linux mit dd hinbekommen.

ich möchte heute abend die application vm von wachsender zu fixer größe ändern. bekomme ich dann dieses kleine Textfile das ich ändern kann?

dann brauch ich nicht mit dd rumspielen

ja - alle preallocated vmdk-typen haben externe descriptor-files

supsi,

bin bin grad dabei mal die application vm zu splitten, mal sehen wie lange das dauert.
danach werd ich am späteren Abend die produktive maschine splitten.

ich würd dann das entsprechende File posten, vielen dann schon mal für deine Hilfe!

hier das entsprechende File. Wenn du mir beim umwandeln helfen kannst, wäre das prima!

soweit ich gegoogelt habe, muß man die geometry anpassen, etc. aber so ganz trau ich mich das jetzt nicht

# Disk DescriptorFile
version=1
encoding="UTF-8"
CID=02a2b1be
parentCID=ffffffff
createType="twoGbMaxExtentFlat"

# Extent description
RW 4193792 FLAT "web-mail-f001.vmdk" 0
RW 4193792 FLAT "web-mail-f002.vmdk" 0
RW 4193792 FLAT "web-mail-f003.vmdk" 0
RW 4193792 FLAT "web-mail-f004.vmdk" 0
RW 4193792 FLAT "web-mail-f005.vmdk" 0
RW 4193792 FLAT "web-mail-f006.vmdk" 0
RW 4193792 FLAT "web-mail-f007.vmdk" 0
RW 4193792 FLAT "web-mail-f008.vmdk" 0
RW 4193792 FLAT "web-mail-f009.vmdk" 0
RW 4193792 FLAT "web-mail-f010.vmdk" 0
RW 4193792 FLAT "web-mail-f011.vmdk" 0
RW 4193792 FLAT "web-mail-f012.vmdk" 0
RW 4193792 FLAT "web-mail-f013.vmdk" 0
RW 4193792 FLAT "web-mail-f014.vmdk" 0
RW 4193792 FLAT "web-mail-f015.vmdk" 0
RW 4193792 FLAT "web-mail-f016.vmdk" 0
RW 4193792 FLAT "web-mail-f017.vmdk" 0
RW 4193792 FLAT "web-mail-f018.vmdk" 0
RW 4193792 FLAT "web-mail-f019.vmdk" 0
RW 4193792 FLAT "web-mail-f020.vmdk" 0
RW 4193792 FLAT "web-mail-f021.vmdk" 0
RW 4193792 FLAT "web-mail-f022.vmdk" 0
RW 4193792 FLAT "web-mail-f023.vmdk" 0
RW 4193792 FLAT "web-mail-f024.vmdk" 0
RW 4193792 FLAT "web-mail-f025.vmdk" 0
RW 12800 FLAT "web-mail-f026.vmdk" 0

# The Disk Data Base
#DDB

ddb.virtualHWVersion = "7"
ddb.toolsVersion = "7396"
ddb.uuid = "60 00 C2 95 00 79 e4 5b-97 fc af d0 85 56 5b 48"
ddb.geometry.cylinders = "6527"
ddb.geometry.heads = "255"
ddb.geometry.sectors = "63"
ddb.adapterType = "lsilogic"

bitte schön

DANKE!!!

hab prima funktioniertu nd ich habe zusätzlich den VMware Server auf die letzte Vesion vom April 2009 gebracht =)

jetzt schau ma mal ob er sich nun benimmt (bzgl. DISK I/O), aber schaut bis jetzt sehr gut aus!

so, hier bin ich wieder und würde gerne diesen thread wieder ausgraben... die Probleme sind wieder da, zumindest ein teil davon:

Seit aber ca einen Monat, oder vl zwei, haben wir das Problem das in der Früh die IDE-basierende VM tot ist. Linux läuft noch, aber ich kann nicht mal ein "ls", "top" oder "reboot" eingeben. Gebe ich zb "reboot" ein, kommt ein "command not found", oder ich bekomme auf einmal eine Login Shell, die dann wieder abbricht und mich in der Bash landen lässt(??), etc, etc, SEHR SELTSAM. Daraufhin ist ein Reset der VM notwendig, anschließend muß man manuell ein FSCHK durchführen, die VM wieder reseten (da keine commandline befehle funktionieren) und nochmals starten.

Ich habe bisjetzt noch nicht nachvollziehen können warum, aber heute hatte ich wieder das Problem das die zweite VM tot war. Gestern hatte ich aber auf der ersten VM (eben die SCSI) viele Daten geändert und RSYNC hatte viel mit dem Backup zu tun.

Ergo, ist VM#1 ausgelastet, wird das Dateisystem von VM#2 zerstört.

Nun laufen ja beide VMs unter IDE.
Es dürfte definitiv am Backup liegen. das Problem tritt öfters nach der Sicherung mitten in der Nacht aus (eben rsync über SSH, VMserver hängt an ner 100MBit Leitung, hier im Büro haben wir 16Mbit sychron). Die Sicherung auf Server #1 läuft eben ohne Probleme, auch reagiert Server #1 nach der Sicherung ganz normal, nur Server #2 spinnt (siehe oben) dann komplett -- fs.chk + 2x reboot sind dann nötig.

Ich bin echt am ende meiner weissheit,... irgendwelche vorschläge für mich.. und vor allem warum zerstört VM #1 die VM#2?

danke danke!

Das Problem kann eigentlich nur auftauchen, wenn beide VMs im selben Ordner liegen oder vielleicht noch, wenn das Script beide parallel sichert. Dann kommt es auf dein Script an.

ne, die vm's liegen in verschiedenen Ordner, aber auf der gleichen Partition. Eben am Linux-Raid 1. Gesichert wird derzeit nur die VM #1, die is produktiv, auf der zweier wird die Sicherung manuell gemacht (interne gschicht). Auch ist die Sicherung nicht mördermäßig groß. Zb wurden gestern 44 Dateien von der VM#1 zu uns ins Büro übertragen, also nur die veränderten Dateien. Aber natürlich rattert das rsync Script alle geänderten Dateien ab, da sind sicher einige tausend.

Jetzt sollte dann bald die zweite VM produktiv werden, aber in diesen Zustand trau ich mich das nicht.

Im übrigen, auf den VM's sind die linux-virtual kernel installiert, also die man bei virtuellen maschinen verwenden sollte, happerts vl an denen? Oder passt das schon?

Wie sicherst du eigentlich? Erst VM anhalten, v.HDD mounten und dann per rsync oder sicherst du einfach so bei laufender VM? Wenn du sicherst, sollten sich besser keine Dateien innerhalb der VM verändern. Dazu gibt es ab dem Server2 ja das VSS-Feature (Copy-on-Write, ZFS) als Dienst auf dem Host.

Im Prinzip sichere ich so:

Direkt am virtuellen Linux Server (VM#1) wird in der nacht ein rsync Script aktiv, das dann alles von /home/www auf unseren Linux Hobel ins Büro sichert. Also davon weiß vmware-server gar nichts. Natürlich erzeugt dies ein wenig Platten I/O, da er ja schaut welche Dateien verändert wurden, aber das sollte doch nicht VM#2 beschädigen. Tatsächlich werden nur wenige MB pro Nacht übertragen...

Momentan laufen beiden VMs quasi im Leerlauf, sollte sich aber eben bald ändern, nur darf es IMHO ja nicht sein, wenn ein bissl Platten I/O oder CPU Leistung konsumiert wird, gleich die VM nebenan krachen geht...

Habe eben Nagios auf dem VMWARE Host installiert und überwache damit die zwei virtuellen Maschinen. Bin gespannt was Nagios mir nach einer Sicherung zu berichten hat.

Das komische is ja, jetzt war fast 2 Monate ruhe, alles lief perfekt und performant. und irgendwann bei einer Routine Sicherung hats eben diese Woche wieder gekracht :/

Im übrigen, auf den VM's sind die linux-virtual kernel installiert, also die man bei virtuellen maschinen verwenden sollte, happerts vl an denen? Oder passt das schon?

oh oh - da habe ich bis jetzt gar nichts gutes drueber gehoert ... da gabs mal posts im VMTN zu ...

so das ma cht mir jetzt angst ^^
welcher kernel würdet ihr empfehlen? einfach den standard? oder doch den server-kernel?

Hallo,

Du meinst nicht zufälligerweise den XEN-Kernel? Unter VMWare immer einen Standard-Kernel verwenden, da VMWare keine Paravirtualisierung betreibt.