Linux Clusterfilesysteme auf ESX Linux-Gastsystemen

[mariobern]

Hallo

Hat jemand Erfahrung mit shared Filesystemen? Ich habe ocfs2 getestet. Aber wenn ich von zwei Gastsystemen gleichzeitig auf den Disk schreibe endet es meist mit einem beschädigten Filesystem. Ich habe dasselbe auf physischen Server gestestet und es lief einwandfrei. Die Beschreibungen die ich fand waren auch nur für Windows-Cluster. Hat jemand hier mit Linux-Clusterfilesystemen Erfahrung? Wenn sich die Gastsysteme auf verschiedenen Hosts befinden dann kommt es zu sehr vielen Fehlern. Sollte ich besser mit physischen Disks statt mit vmdk Disks arbeiten?
Beim SAN handelt es sich um eines von Hitachi und die Adapter sind von Qlogic.

Grüsse

Mario

[stgepopp]

Hallo,

ich habe (offen gesagt) nur Erfahrung mit Linux-Clustersystemen (RMS, OPS) und MS-Clustersystemen auf physikalischer Basis. Und MS-Clustersystemen auf virtueller Basis.

Ich würde den Weg über Extra-LUNs und RDMs im physical Compatibility Mode nehmen. Hier hast du die direkteste Kontrolle der SAN-LUN, d.h. der VMkernel mischt sich am wenigsten ein. Wenn das funktioniert kannst du mal die RDM auf virtual Compatibility umstellen bzw. auch mal auf vmdk. Hier musst Du aber deine VMFS-LUN auf den Accesstype Shared umstellen, was wieder andere Probleme mit sich bringt.

Btw. welche Fehler erhältst du denn?

Erich

[mariobern]

Hallo Erich

Danke für die Infos. Ich werde morgen probieren ob ich mit physikalischen Units mehr Erfolg habe. Nachstehend findest Du ein Auszug aus dem Log des Linux-Gastsystems.

Gruss

Mario

Dec 15 13:32:39 spvlxrep03 kernel: (9452,0):ocfs2_initialize_super:1332 max_slots for this device: 4
Dec 15 13:32:39 spvlxrep03 kernel: (9452,0):ocfs2_initialize_super:1332 max_slots for this device: 4
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):ocfs2_fill_local_node_info:1011 I am node 0
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):ocfs2_fill_local_node_info:1011 I am node 0
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):__dlm_print_nodes:380 Nodes in my domain ("F8F457AB54AD46F89C3A4493C5DCDF3C"):
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):__dlm_print_nodes:380 Nodes in my domain ("F8F457AB54AD46F89C3A4493C5DCDF3C"):
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):__dlm_print_nodes:384 node 0
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):__dlm_print_nodes:384 node 0
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):ocfs2_find_slot:268 taking node slot 0
Dec 15 13:32:40 spvlxrep03 kernel: (9452,0):ocfs2_find_slot:268 taking node slot 0
Dec 15 13:32:40 spvlxrep03 kernel: kjournald starting. Commit interval 5 seconds
Dec 15 13:32:40 spvlxrep03 kernel: kjournald starting. Commit interval 5 seconds
Dec 15 13:32:40 spvlxrep03 kernel: ocfs2: Mounting device (8,17) on (node 0, slot 0)
Dec 15 13:32:40 spvlxrep03 kernel: ocfs2: Mounting device (8,17) on (node 0, slot 0)
Dec 15 13:33:05 spvlxrep03 kernel: (5510,0):o2net_set_nn_state:422 accepted connection from node stvlxrep03 (num 1) at 131.102.233.10:7777
Dec 15 13:33:05 spvlxrep03 kernel: (5510,0):o2net_set_nn_state:422 accepted connection from node stvlxrep03 (num 1) at 131.102.233.10:7777
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:380 Nodes in my domain ("F8F457AB54AD46F89C3A4493C5DCDF3C"):
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:380 Nodes in my domain ("F8F457AB54AD46F89C3A4493C5DCDF3C"):
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:384 node 0
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:384 node 0
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:384 node 1
Dec 15 13:33:09 spvlxrep03 kernel: (5510,0):__dlm_print_nodes:384 node 1
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock_remote:218 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock_remote:218 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock:653 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock:653 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_lock_create:756 ERROR: Dlm error "DLM_IVLOCKID" while calling dlmlock on resource M000000000000000000868a1dfec40b: bad lockid
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_lock_create:756 ERROR: Dlm error "DLM_IVLOCKID" while calling dlmlock on resource M000000000000000000868a1dfec40b: bad lockid
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_cluster_lock:930 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_cluster_lock:930 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_meta_lock_full:1527 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_meta_lock_full:1527 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_inode_revalidate:1045 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_inode_revalidate:1045 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_getattr:1108 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_getattr:1108 ERROR: status = -22
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock_remote:218 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock_remote:218 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock:653 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):dlmlock:653 ERROR: dlm status = DLM_IVLOCKID
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_lock_create:756 ERROR: Dlm error "DLM_IVLOCKID" while calling dlmlock on resource M000000000000000000868b1dfec40c: bad lockid
Dec 15 13:37:48 spvlxrep03 kernel: (9600,0):ocfs2_lock_create:756 ERROR: Dlm error "DLM_IVLOCKID" while callin

[chexma]

Hi,

für Cluster unter ESX sind RDMs auf jeden Fall nur zu empfehlen. Mit VMDKS hatte ich bis jetzt nur Probleme und die komischsten Fehler.
Damit du die vorhanden VMFS nicht auf shared umstellen musst kannst du auch ein neues mit 100 MB aus dem SAN hochreichen, in das dann alle CLuster RDMs reingelegt werden.
Da die RDMs nur Proxy Files sind die auf die LUN verweisen bleiben die vmdks im Kilobyte Bereich.

mfg

Andre