Linux + Vmware Server 2.0 + Heartbeat + DRBD = Problem

[skoesters]

Hi,

mein Name ist Sebastian und ich möchte mich mit einem Problem an euch wenden.

Ich versuche einen Hochverfügbarkeitscluster mit VMware, drbd und Heartbeat zu erstellen und stoße mittlerweile auf einige Probleme (auf Cent OS 5).

Hier mal meine Konfiguration:

---

drbd:

resource drbd0 {
protocol C;

syncer {
rate 50M;
}

on kempen.v121.dus1.th {
device /dev/drbd0;
disk /dev/sda10;
address 10.10.121.81:8766;
meta-disk internal;
}

on sandiego.v121.fra3.th {
device /dev/drbd0;
disk /dev/sda10;
address 10.10.121.82:8766;
meta-disk internal;
}
}

resource drbd1 {
protocol C;

syncer {
rate 50M;
}

on kempen.v121.dus1.th {
device /dev/drbd1;
disk /dev/sda11;
address 10.10.121.81:8776;
meta-disk internal;
}

on sandiego.v121.fra3.th {
device /dev/drbd1;
disk /dev/sda11;
address 10.10.121.82:8776;
meta-disk internal;
}
}

---

Heartbeat:

haresources:

---

kempen.v121.dus1.th drbddisk::drbd0 Filesystem::/dev/drbd0::/kempen::ext3
sandiego.v121.fra3.th drbddisk::drbd1 Filesystem::/dev/drbd1::/sandiego::ext3

---

Heartbeat und drbd alleine arbeiten ohne Probleme (beides die letzten stable Versionen).

Anschliessend habe ich Vmware Server 2 installiert.


Auf kempen.v121.dus1.th liegen die Vmware-host-files in /kempen (drbd0)

Auf sandiego.v121.fra3.th liegen sie in /sandiego (drbd1)

Bis auf den vmware user und die webports ist sonst alles default.

Auf kempen.v121.dus1.th habe ich dann mal Win 2000 in er VM installiert, was auch problemlos geklappt hat.

Hier die Files:

---

[root@kempen /]# ls -al /kempen/vmtest.v121.dus1.th/ total 1058060
drwxr-xr-x 4 root root 4096 Jun 16 13:30 .
drwxrwxrwt 4 root root 4096 Jun 16 10:29 ..
-rw------- 1 root root 2097152000 Jun 16 13:12 564d9bf0-1d3e-a041-36aa-1687643e3c8f.vmem
drwxrwxrwx 2 root root 4096 Jun 16 13:12 564d9bf0-1d3e-a041-36aa-1687643e3c8f.vmem.lck
-rw------- 1 root root 8684 Jun 16 13:13 vmtest.v121.dus1.th.nvram
-rw------- 1 root root 917766144 Jun 16 13:30 vmtest.v121.dus1.th.vmdk
drwxrwxrwx 2 root root 4096 Jun 16 13:30 vmtest.v121.dus1.th.vmdk.lck
-rw------- 1 root root 0 Jun 16 10:29 vmtest.v121.dus1.th.vmsd
-rwxr-xr-x 1 root root 2270 Jun 16 13:26 vmtest.v121.dus1.th.vmx
-rw------- 1 root root 274 Jun 16 10:29 vmtest.v121.dus1.th.vmxf
-rw-r--r-- 1 root root 52237 Jun 16 13:28 vmware-0.log
-rw-r--r-- 1 root root 53263 Jun 16 13:26 vmware-1.log
-rw-r--r-- 1 root root 78665 Jun 16 13:25 vmware-2.log
-rw-r--r-- 1 root root 52237 Jun 16 13:30 vmware.log

---

auf sandiego.v121.fra3.th habe ich dann einen zweiten Datastore eingerichtet, der "kempen" heisst und auf /kemen verweisst (dahin wird drbd0 auf sandiego gemountet, wenn kempen einen failover macht).


Anschliessend hab ich versuch einen Failover zu machen. Das drbd0 device wurde dann auch erfolgreich auf sandiego gemountet:

---

[root@sandiego /]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 5.9G 890M 4.7G 16% /
/dev/sda9 3.9G 73M 3.7G 2% /opt
/dev/sda8 3.9G 73M 3.7G 2% /tmp
/dev/sda7 4.9G 1.7G 3.0G 35% /usr
/dev/sda6 9.7G 153M 9.1G 2% /home
/dev/sda5 15G 298M 14G 3% /var
/dev/sda1 251M 22M 217M 10% /boot
tmpfs 16G 0 16G 0% /dev/shm
/dev/drbd1 37G 177M 35G 1% /sandiego
/dev/drbd0 37G 1.3G 34G 4% /kempen

---

die vmware files der win2000 installtion lagen dann in /kempen auf sandiego.v121.fra3.th statt auf kempen.v121.dus1.th.

---

[root@sandiego /]# ls -al /kempen/vmtest.v121.dus1.th/ total 1085036
drwxr-xr-x 4 root root 4096 Jun 16 13:43 .
drwxrwxrwt 4 root root 4096 Jun 16 10:29 ..
-rw------- 1 root root 2097152000 Jun 16 13:41 564d9bf0-1d3e-a041-36aa-1687643e3c8f.vmem
drwxrwxrwx 2 root root 4096 Jun 16 13:41 564d9bf0-1d3e-a041-36aa-1687643e3c8f.vmem.lck
-rw------- 1 root root 8684 Jun 16 13:42 vmtest.v121.dus1.th.nvram
-rw------- 1 root root 917766144 Jun 16 13:43 vmtest.v121.dus1.th.vmdk
drwxrwxrwx 2 root root 4096 Jun 16 13:41 vmtest.v121.dus1.th.vmdk.lck
-rw------- 1 root root 0 Jun 16 10:29 vmtest.v121.dus1.th.vmsd
-rwxr-xr-x 1 root root 2270 Jun 16 13:41 vmtest.v121.dus1.th.vmx
-rw------- 1 root root 274 Jun 16 10:29 vmtest.v121.dus1.th.vmxf
-rw-r--r-- 1 root root 52237 Jun 16 13:30 vmware-0.log
-rw-r--r-- 1 root root 52237 Jun 16 13:28 vmware-1.log
-rw-r--r-- 1 root root 53263 Jun 16 13:26 vmware-2.log
-rw-r--r-- 1 root root 78370 Jun 16 13:43 vmware.log

---

dann habe ich versuch die vm zu registrieren und zu starten:

---
Register:

[root@sandiego /]# vmrun -T server -h https://localhost/sdk -u root -p test register "[kempen] vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmx"
[root@sandiego /]#

Start:

[root@sandiego /]# vmrun -T server -h https://localhost/sdk -u root -p test123 start "[kempen] vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmx"

Im Webinterface von sandiego tauchte dann die Frage auf, ob ich die vm kopiert oder verschoben hätte.

beide Antworten führten zu einem Fehler.

in der shell sah ich dann:

Error: Unknown error

---

in "/var/log/vmware/hostd.log" tauchte folgender Fehler auf:

---

center: Cannot open the disk '/kempen/vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmdk' or one of the snapshot disks it depends on.
Reason: Failed to lock the file.

---

mir viel dann auf, dass ich die *.lck Dateien löschen musste. Danach startete die VM auf der zweiten Maschine.


Zur ersten Frage. Warum fragt er mich im Webinterface, ob ich kopiert oder verschoben hätte, wenn eigentlich die ganze "platte" rübergewandert ist. Kann ich das abschalten / abfangen, damit ich das nicht mehr anklicken muss, sondern sowas automatisch passiert?

zweite Frage:

ich habe dann versucht die vmware direkt von heartbeat beim failover starten zu lassen.

habe dafür folgendes script geschrieben und in die harecources eingebunden:

---

#!/bin/bash
case "$1" in
'start')
/root/start_vm.bsh
;;
'stop')
/root/stop_vm.bsh
;;
*) echo "Usage: $0 { start | stop }"
;;
esac

---

/root/start_vm.bsh:

#/bin/bash
/bin/rm -rf /kempen/vmtest.v121.dus1.th/*.lck
sleep 3
/usr/bin/vmrun -T server -h https://localhost/sdk -u root -p test123 register "[kempen] vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmx"
sleep 3
/usr/bin/vmrun -T server -h https://localhost/sdk -u root -p test123 start "[kempen] vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmx"


/root/stop_vm.bsh:

#!/bin/bash
/usr/bin/vmrun -T server -h https://localhost/sdk -u root -p test123 stop "[kempen] vmtest.v121.dus1.th/vmtest.v121.dus1.th.vmx"

---

wenn ich das script nach einem failover per hand ausführe startet die vm.

Wenn ich das script von heartbeat ausführen lasse passiert folgendes:

ha-log:

mach_down[10529]: 2009/06/16_15:02:14 info: Taking over resource group drbddisk::drbd0
ResourceManager[10554]: 2009/06/16_15:02:14 info: Acquiring resource group: kempen.v121.dus1.th drbddisk::drbd0 Filesystem::/dev/drb
d0::/kempen::ext3 vmware
ResourceManager[10554]: 2009/06/16_15:02:14 info: Running /etc/ha.d/resource.d/drbddisk drbd0 start
Filesystem[10617]: 2009/06/16_15:02:14 INFO: Resource is stopped
ResourceManager[10554]: 2009/06/16_15:02:14 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /kempen ext3 start
Filesystem[10693]: 2009/06/16_15:02:15 INFO: Running start for /dev/drbd0 on /kempen
Filesystem[10682]: 2009/06/16_15:02:15 INFO: Success
ResourceManager[10554]: 2009/06/16_15:02:15 info: Running /etc/init.d/vmware start
ResourceManager[10554]: 2009/06/16_15:02:16 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:16 CRIT: Giving up resources due to failure of vmware
ResourceManager[10554]: 2009/06/16_15:02:16 info: Releasing resource group: kempen.v121.dus1.th drbddisk::drbd0 Filesystem::/dev/drb
d0::/kempen::ext3 vmware
ResourceManager[10554]: 2009/06/16_15:02:16 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:17 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:18 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:18 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:18 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:19 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:19 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:20 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:21 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:21 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:22 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:23 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:23 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:24 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:25 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:25 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:26 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:27 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:27 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:28 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:29 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:29 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:30 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:31 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:31 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:32 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:33 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:33 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:34 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:35 info: Retrying failed stop operation [vmware]
ResourceManager[10554]: 2009/06/16_15:02:35 info: Running /etc/init.d/vmware stop
ResourceManager[10554]: 2009/06/16_15:02:36 ERROR: Return code 1 from /etc/init.d/vmware
ResourceManager[10554]: 2009/06/16_15:02:36 ERROR: Resource script for vmware probably not LSB-compliant.
ResourceManager[10554]: 2009/06/16_15:02:36 WARN: it (vmware) MUST succeed on a stop when already stopped
ResourceManager[10554]: 2009/06/16_15:02:36 WARN: Machine reboot narrowly avoided!
ResourceManager[10554]: 2009/06/16_15:02:36 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /kempen ext3 stop


danach ist die komplette Vmware installtion auf der Maschine im sack.

Ich muss den Server neustarten und die vmware konfiguration noch mal anstossen. Erst danach geht vmware wieder.

Hoffe ihr könnt mir bei dem Thema helfen.

Gruß und danke
Sebastian

[skoesters]

das heartbeat start problem ist behoben. war ein blöder fehler von mir.

wenn ich jetzt noch diese copy / move frage im Webinterface erledigen könnte wäre alles gut. Vielleicht kann ich das ja auch irgendwie über die konsole abfangen?

[continuum]

copy / move frage im Webinterface erledigen könnte wäre alles gut.

steht bei mir auf der Seite > vmx > advanced > uuid

[skoesters]

danke, super seite. hat mir sehr geholfen