iSCSI überlastet?

[AlbertMinrich]

Hallo,

wir haben 2 ESX-Server 3.5 Build 153875 im Einsatz. Beide greifen über iSCSI auf ein NAS zu. Auf jedem Server laufen 18VM´s.
Letzte Woche fiel einer der ESX-Server aus bzw. funktionierte nach einem Reboot nicht mehr vernünftig. Deshalb haben wir alle VM´s auf den verbliebenen ESX verschoben.
In den drauffolgenden Stunden kam es wiederholt zu minutenlangen Hängern in mehreren VM´s. Im Systemprotokoll der VM´s kamen im Sekundentakt die Meldungen:
Source: Disk
Event ID: 11
"The driver detected a controller error on \Device\Harddisk0."

und

Source: vmscsi
Event ID: 15
"The device, \Device\Scsi\vmscsi1, is not ready for access yet."


In der Datei vmkwarning auf dem ESX-Server wurde massenhaft das geloggt:
Apr 8 09:13:50 esx-2 vmkernel: 35:12:35:09.303 cpu5:1043)WARNING: FS3: 4787: Reservation error: SCSI reservation conflict
Apr 8 09:13:55 esx-2 vmkernel: 35:12:35:14.221 cpu6:1043)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts

in der Datei vmkernel das hier:
Apr 8 09:13:33 esx-2 vmkernel: 35:12:34:52.054 cpu6:1592)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts
Apr 8 09:13:33 esx-2 vmkernel: 35:12:34:52.054 cpu6:1592)WARNING: FS3: 2429: Couldn't verify lost lock: SCSI reservation conflict
Apr 8 09:13:33 esx-2 vmkernel: 35:12:34:52.985 cpu5:1592)SCSI: vm 1592: 109: Sync CR at 64


Darauhin haben wir ein paar nicht so wichtige VM´s runtergefahren, dann lief´s wieder. Mittlerweile sind die VM´s wieder auf zwei ESX-Server verteilt und es gab keine derartigen Probleme mehr.

Für mich sieht das so aus, als ob die iSCSI-Leitung einfach überlastet war. Was würdet ihr sagen?


Danke
Martin

[Supi]

Auf jedem Server laufen 18VM´s.

Lese ich daraus richtig 36 VM's?

Auf wievielen LUNS sind die denn verteilt? Wenn die alle auf einer Lun liegen, liegt hier vielleicht das Problem.

[AlbertMinrich]

Richtig, 36 VM´s und ja, die liegen leider alle auf einer LUN. Ich weiss, das ist auch nicht unbedingt gut, aber die liegen seit langem auf dieser einen LUN und solange sie auf 2 ESX-Server verteilt waren, gab´s nie derartige Probleme.

[kastlr]

Hallo,

SCSI Reservation Conflicts entstehen immer dann, wenn einer der ESX Server exclusiven Zugriff auf eine LUN haben will.

Andere Server können zu diesem Zeitraum nicht auf die LUN zugreifen und müssen daher warten, das diese Reservierung gelöscht wird.
Üblicherweise verwendet VMware ESX nur short time SCSI reservations.
Da einer deiner Server aber im entsprechenden Zeitraum Probleme nach einem Reboot hatte, wird dieser Umstand höchstwahrscheinlich das Problem verursacht haben.

Ich glaube nicht, das die iSCSI Leitung überlastet war, dann hättest du andere Fehler im Log finden müssen (z. B. SCSI TimeOut).
Wahrscheinlicher ist, das dein Problem ESX Server in diesem Zeitraum immer wieder Reservierungen auf der iSCSI LUN gesetzt hat, die deinem running ESX den Zugriff blockiert haben.

Gruß
Ralf