kurzzeitig kein Zugriff auf SAN Storage

[bedee]

Hallo zusammen

Ich habe sporadisch immer wieder mal für kurze Zeit kein Zugriff die LUNs. Ich sehe momentan nicht ganz, wo ich mit dem Suchen des Fehlers beginnen soll.

Die Umgebung sieht wie folgt aus:
2 x ESX 3.5 U5 (Dell R900) Hosts
jeweils über zwei HBA an SAN Storage IBM DS4800 angeschlossen.

Der Fehler wirkt sich folgendermassen aus. Die Zugriffe auf sämtliche LUNs sind für eine kurze Zeit nicht mehr möglich, dies meldet dann auch Windows im Eventlog, dass ein Controller Error auf Harddisk0 auftrat und das device "not ready for access" ist... Dies tritt willkürlich auf. Der selbe Fehler kann mehr oder weniger nachvollzogen werden, wenn Storageseitig der preffered path geändert wird. Dies funktioniert mal und ein ander mal treten I/O Fehler auf und der Zugriff in die LUNs ist nicht mehr möglich.

Im vmkwarning log entstehen dann folgende Fehlermeldungen

Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.653 cpu2:6980)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.653 cpu2:6980)WARNING: FS3: 2504: Couldn't verify lost lock: SCSI reservation conflict
Jun 1 01:17:23 HostXY vmkernel: 114:14:16:40.047 cpu6:6976)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts
Jun 1 01:17:23 HostXY vmkernel: 114:14:16:40.047 cpu6:6976)WARNING: FS3: 2504: Couldn't verify lost lock: SCSI reservation conflict
Jun 1 01:17:28 HostXY vmkernel: 114:14:16:44.152 cpu2:6875)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts

Im selben Zeitpunkt im vmkernel log:

Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.155 cpu2:2133)StorageMonitor: 196: vmhba0:0:13:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.357 cpu2:6938)StorageMonitor: 196: vmhba0:0:13:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.458 cpu2:1190)StorageMonitor: 196: vmhba0:1:14:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.653 cpu2:6980)SCSI: vm 6980: 109: Sync CR at 0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.653 cpu2:6980)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.653 cpu2:6980)WARNING: FS3: 2504: Couldn't verify lost lock: SCSI reservation conflict
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.659 cpu2:6980)StorageMonitor: 196: vmhba0:0:15:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.659 cpu2:6980)StorageMonitor: 196: vmhba0:0:15:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.663 cpu5:6889)StorageMonitor: 196: vmhba0:0:11:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY last message repeated 2 times
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.861 cpu2:1190)StorageMonitor: 196: vmhba0:0:15:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY last message repeated 3 times
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.961 cpu2:6938)StorageMonitor: 196: vmhba0:0:15:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.961 cpu2:6938)StorageMonitor: 196: vmhba0:1:10:0 status = D:0x0/H:0x2 0x0 0x0 0x0
Jun 1 01:17:19 HostXY vmkernel: 114:14:16:35.961 cpu2:6938)StorageMonitor: 196: vmhba0:0:13:0 status = D:0x0/H:0x2 0x0 0x0 0x0


Eine Überlast im Storage ist auszuschliessen. Bin für jegliche Inputs dankbar

[bla!zilla]

SCSI reservation conflict

Ein paar Fragen:

- Wieviele VMFS Dateisystem?
- Pro VMFS eine LUN oder mehrere VMFS auf einer LUN?
- Wieviele VMs pro VMFS?

[bedee]

- pro LUN ein VMFS Volume (vmfs3) a 500 BG, zwei Volumes 1 TB
- insgesammt 10 Volumes
- VM auf Volumes zwischen 1 bis maximal 12

[JMcClane]

Gibt es bei einigen oder vielen VMs einige oder gar viele Snapshots? Und bestehen die Snapshots längere Zeit und sind diese dazu auch noch sehr groß?

[bedee]

generell laufen kein Snapshots bei allen VM's (Normalbetrieb)

Snapshots laufen eigenltlich nur in speziellen Fällen und dann meistens max 24 Stunden. Werden dann in der Regel nicht wirklich gross.

Am meisten parallele Snapshots auf den Hosts treten dann auf, wenn Patches eingespielt werden. Dies erfolg in der Regel über den Updatemanager und werden automatisch nach 24 Stunden wieder entfernt.

Das Backup erfolgt momentan noch mittels vmbk. Während dem Backup hat die VM einen Snapshot. Der Backupablauf ist aber sequenziell.

[kastlr]

Hallo,

SCSI reservation conflicts sind generell immer mal wieder möglich, sollten sich aber nicht zu dem von dir geschildertem Problem entwickeln.
Gerade, wenn sich nur zwei Hosts die LUN's teilen, sollten sie so gut wie gar nicht auftreten.

Anbei einmal die Links zu einigen VMware Knowledge Base Artikeln.
Resolving SCSI reservation conflicts
Analyzing SCSI Reservation conflicts on VMware Infrastructure 3.x and vSphere 4.x

Wenn ich den Fehlercode richtig interpretiere, sagt dieser auch aus, das der Host Bus busy ist, daher würde ich erst einmal die Einstellungen überprüfen.

Hast du
    - die korrekte Failover Policy für deinen Storage gewählt?
    - die ESX Server über iSCSI (HW oder SW) oder über einen SAN Switch an den Storage angeschlossen?
    - Wurde das Zoning korrekt durchgeführt? (Single Initiator Zoning)
    - Firmware und Treiber des verwendeten HBA's auf den erforderlichen Stand gebracht?
    - Sind die erforderlichen Einstellungen am SAN Array korrekt umgesetzt worden?
    - Haben die LUN's über alle FrontEnd Ports/Storage Prozessoren identische LUN ID's erhalten?

Viel Erfolg,
Ralf

[echt_weg]

Kontrollier mal den gewählten Hosttype auf der DS4800
hast du avt auf der ds an?

[bedee]

Danke für die zahlreichen Inputs.
Soweit ist eigentlich alles geprüft und korrekt...

Nachstellen kann ich den Fehler nicht, tritt halt einfach sporadisch mal auf.... ich habe jetzt noch einige Logs VMware gesendet, vieleicht sehen diese ja noch was.