Probleme mit iSCSI Software Adapter

[someone]

Hallo zusammen,

ich habe hier eine Whitebox mit 2 Intel NICs, die vom Standard ESXi 6 Image supported werden.
Eine NIC ist direkt mit einer Synology NAS verbunden, die andere NIC mit dem lokalen Netzwerk.
Via iSCSI Adapter liegt das Storage auf der NAS.
Beide Karten sind via Multipath für das Storage zuständig. Die direkt mit der NAS verbundene NAS ist natürlich die "preferred".
Leider kommt es hin und wieder zu kollateralen Abstürzen.
Das führt soweit, dass ich via Client nicht mehr auf den ESXi komme und die NIC#1 down ist. Manchmal springt noch der Multipath Failover NIC2 ein, aber anmelden an via Client klappt dennoch nicht ("Loading Inventory...").
Auf der Commando Line kann ich die NIC wieder aktivieren, aber sämtliche iscsi commandos bleiben auf der Konsole hängen.
Anbei mal ein Log:

Code: Alles auswählen

2015-05-14T19:38:51.337Z cpu0:39752)ScsiScan: 836: Path vmhba33:C3:T0:L0 supports REPORT LUNS 0x11
2015-05-14T19:40:14.589Z cpu0:32787)WARNING: ScsiDeviceIO: 1243: Device naa.600140557506972d11f8d3239da883d7 performance has deteriorated. I/O latency increased from average value of 18466 microseconds to 373217 microseconds.
2015-05-14T19:40:47.476Z cpu2:32789)WARNING: ScsiDeviceIO: 1243: Device naa.600140557506972d11f8d3239da883d7 performance has deteriorated. I/O latency increased from average value of 18714 microseconds to 382456 microseconds.
2015-05-14T19:41:16.700Z cpu2:35425)ScsiDeviceIO: 1217: Device naa.600140557506972d11f8d3239da883d7 performance has improved. I/O latency reduced from 382456 microseconds to 74126 microseconds.
2015-05-14T19:41:18.364Z cpu0:35341)ScsiDeviceIO: 1217: Device naa.600140557506972d11f8d3239da883d7 performance has improved. I/O latency reduced from 74126 microseconds to 36635 microseconds.
2015-05-14T19:41:21.360Z cpu0:32787)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x9e (0x439d803d2080, 0) to dev "mpx.vmhba32:C0:T0:L0" on path "vmhba32:C0:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2015-05-14T19:41:21.364Z cpu0:32787)ScsiDeviceIO: 2646: Cmd(0x439d803d2080) 0x1a, CmdSN 0xfbe from world 0 to dev "mpx.vmhba32:C0:T0:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2015-05-14T19:42:21.329Z cpu3:33121)NMP: nmp_ResetDeviceLogThrottling:3345: last error status from device mpx.vmhba32:C0:T0:L0 repeated 3 times
2015-05-14T19:43:51.329Z cpu2:41697)ScsiScan: 836: Path vmhba33:C0:T0:L0 supports REPORT LUNS 0x11
2015-05-14T19:43:51.364Z cpu3:41697)ScsiScan: 836: Path vmhba33:C3:T0:L0 supports REPORT LUNS 0x11
2015-05-14T19:45:32.565Z cpu3:33216)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba33:CH:0 T:0 L:0 : Task mgmt "Abort Task" with itt=0x15340 (refITT=0x15338) timed out.
2015-05-14T19:45:33.326Z cpu1:41930)ScsiCore: 62: Starting taskmgmt handler world 41930/2
2015-05-14T19:45:38.418Z cpu3:33216)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba33:CH:0 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2015-05-14T19:45:38.418Z cpu3:33216)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000006 TARGET: iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae TPGT: 0 TSIH: 0]
2015-05-14T19:45:38.418Z cpu3:33216)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.99.99.2:48423 R: 10.99.99.1:3260]
2015-05-14T19:45:38.418Z cpu2:33227)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x2a (0x439d8040ddc0, 32778) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x5 0x20 0x0. Act:EVAL
2015-05-14T19:45:38.418Z cpu2:33227)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:38.418Z cpu2:33227)ScsiDeviceIO: 2608: Cmd(0x439d8040ddc0) 0x2a, CmdSN 0x1a51 from world 32778 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x5 0x20 0x0.
2015-05-14T19:45:38.418Z cpu2:33227)ScsiDeviceIO: 2608: Cmd(0x439d80420e40) 0x2a, CmdSN 0x800e0022 from world 35381 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2015-05-14T19:45:38.418Z cpu0:32802)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x28 (0x439d80429100, 35472) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2015-05-14T19:45:38.418Z cpu2:33227)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x2a (0x439d803bb540, 35381) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2015-05-14T19:45:38.418Z cpu0:32802)ScsiDeviceIO: 2590: Cmd(0x439d80429100) 0x28, CmdSN 0x800e000f from world 35472 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x8 D:0x0 P:0x0
2015-05-14T19:45:38.418Z cpu2:33227)ScsiDeviceIO: 2608: Cmd(0x439d803bb540) 0x2a, CmdSN 0x800e0070 from world 35381 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2015-05-14T19:45:38.418Z cpu2:33227)ScsiDeviceIO: 2608: Cmd(0x439d803d1d80) 0x2a, CmdSN 0x800e0064 from world 35381 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2015-05-14T19:45:38.418Z cpu0:32802)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x28 (0x439d8041bf80, 35472) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x5 0x20 0x0. Act:EVAL
2015-05-14T19:45:38.418Z cpu2:33227)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x2a (0x439d803c1880, 35460) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2015-05-14T19:45:38.418Z cpu2:33216)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba33:CH:0 T:0 L:0 : Task mgmt "Abort Task" with itt=0x15343 (refITT=0x15336) timed out.
2015-05-14T19:45:38.457Z cpu2:35383)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 10 times
2015-05-14T19:45:38.528Z cpu2:35460)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 20 times
2015-05-14T19:45:38.666Z cpu2:35302)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 40 times
2015-05-14T19:45:38.943Z cpu2:33155)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 80 times
2015-05-14T19:45:39.325Z cpu1:41959)ScsiCore: 62: Starting taskmgmt handler world 41959/3
2015-05-14T19:45:39.326Z cpu2:32861)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:39.493Z cpu2:35341)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 160 times
2015-05-14T19:45:40.328Z cpu2:35302)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:40.602Z cpu2:35341)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 320 times
2015-05-14T19:45:41.325Z cpu0:41962)ScsiCore: 62: Starting taskmgmt handler world 41962/4
2015-05-14T19:45:41.338Z cpu2:32789)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:42.334Z cpu2:35341)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:42.824Z cpu2:35381)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 640 times
2015-05-14T19:45:43.328Z cpu2:35381)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:44.325Z cpu2:41958)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:45.329Z cpu2:35341)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:46.330Z cpu2:35419)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:47.249Z cpu2:35342)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 1280 times
2015-05-14T19:45:47.333Z cpu2:33197)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:48.329Z cpu2:35341)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-14T19:45:48.420Z cpu1:32811)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from vmhba33:C0:T0:L0 to vmhba33:C3:T0:L0 for device "naa.600140557506972d11f8d3239da883d7".
2015-05-14T19:46:21.324Z cpu1:33121)NMP: nmp_ResetDeviceLogThrottling:3345: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 338 times

[~thc]

Ist das der Intel NUC als ESXi 6.0 aus deinem anderen Beitrag? Oder hast du inzwischen einen anderen gebaut? Sind das "patched" Driver oder "inbox"?

Mögliche Fehlerursachen:

- Whitebox/Mainboard/PCIe-Port der Netzwerkkarte
- NIC/Driver
- MTU
- Kabel
- NIC im Synology
- iSCSI-Protokoll Unverträglichkeit
- iSCSI-Target Absturz/Fehler im Synology

Was kannst du davon ausschließen?

[someone]

Hallo,

ja, richtig. Das ist der Intel aus dem anderen Beitrag.
(4th gen mit i5 und einer zusätzlichen PCI Express Mini Card MPX-574D).
Nochmal vorweg: Das ganze System lief jetzt wieder ca. 3 Wochen stabil. Als ich anfing eine Thin-Disk zu einer Thick-Disk zu machen, also ordentlich Last auf die iSCSI Verbindung kam, kam es zum Fehler. Ich nutze kein VAAI.
Die NAS ist eine Synology RS214 und das LUN ein Block-Device.


- Whitebox/Mainboard/PCIe-Port der Netzwerkkarte
-> Hardware-Fehler kann ich nicht direkt ausschliessen, aber wenn der Absturz erfolgt ist, kann ich die Netzwerkkarte auf der ESXi CLI wieder hochfahren und normale pingen.

- NIC/Driver
-> Treiber werden aus dem Basis-Image direkt von der vmware Seite verwendet. Kein Patching. Leidglich die Freischaltung des AHCI für die mSATA Disk.

- MTU
-> Steht auf der Synology bei 9000 und bei der NIC und dessen vswitch ebenfaills bei 9000. Zuvor stand dort bei allen 6000.

- Kabel
-> Ist ein neues Kabel gewesen, habe es nochmal geprüft und konnte keinen Fehler feststellen. Würde ich erstmal nach hinten schieben, aber nicht ausschliessen.

- NIC im Synology
-> Die ist vom ganzen Spektakel unbeeindruckt. Im Log der Syno sehe ich auch, dass Clientseitig die iSCSI Verbindung beendet worden ist.
Ohne Reboot läuft die Syno normal weiter.

- iSCSI-Protokoll Unverträglichkeit
-> Wäre gut möglich. Wobei wenn ich es richtig verstanden habe, viele Synos VMware zertifiert sind. Die die nicht explizit zertifiziert sind, nutzen aber die gleiche Software.

- iSCSI-Target Absturz/Fehler im Synology
->

Code: Alles auswählen

[147201.065961] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[147501.051750] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[147501.071914] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 2, expected 0
[147501.080861] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[147801.057425] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[147801.067557] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 2, expected 0
[147801.076980] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[147975.053053] :eth0: link down
[147976.230956] init: dhcp-client (eth0) main process (4170) killed by TERM signal
[147988.972124] :eth0: link up, full duplex, speed 1 Gbps
[147990.311755] init: dhcp-client (eth0) main process (23666) killed by TERM signal
[147999.930091] :eth0: link down
[148001.162188] init: dhcp-client (eth0) main process (23950) killed by TERM signal
[148001.441785] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[148033.596240] :eth0: link up, full duplex, speed 1 Gbps
[148034.878757] init: dhcp-client (eth0) main process (24246) killed by TERM signal
[148036.120537] iSCSI: iSCSI: Logout- I[iqn.1998-01.com.vmware:esxi-5e802ba8][10.99.99.2], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[148036.134603] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][10.99.99.2], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[148037.925630] iSCSI: iSCSI: Login - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae][192.168.178.58:3260]
[148038.178759] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[148038.188958] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 2, expected 0
[148038.213303] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[148038.233826] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[148038.253297] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[148038.273297] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0

...

[157701.256823] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[157701.497826] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[158001.242557] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[158001.252781] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 2, expected 0
[158001.262034] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[158301.251598] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 3, expected 0
[158301.261608] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 2, expected 0
[158301.271026] iSCSI: Illegal Byte 0 in LUN peripheral device addressing method 1, expected 0
[158462.938004] :eth1: link down
[158464.788330] :eth1: link up, full duplex, speed 100 Mbps
[158464.802273] :eth1: link down
[158468.905670] :eth1: link up, full duplex, speed 1 Gbps
[158491.600745] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[158491.810756] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][10.99.99.2], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[158501.210234] :eth1: link down
[158503.567604] :eth1: link up, full duplex, speed 1 Gbps
[158504.434582] :eth1: link down
[158506.829171] :eth1: link up, full duplex, speed 1 Gbps
[158508.826219] iSCSI: iSCSI: Login - I[iqn.1998-01.com.vmware:esxi-5e802ba8][10.99.99.2], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae][10.99.99.1:3260]
[158528.619492] iSCSI: iSCSI: Discovery session from [192.168.178.88]
[158528.629385] iSCSI: iSCSI: Logout- I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158528.638766] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158533.651515] iSCSI: iSCSI: Discovery session from [192.168.178.88]
[158533.661136] iSCSI: iSCSI: Logout- I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158533.670512] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158533.948198] iSCSI: iSCSI: Login - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae][192.168.178.58:3260]
[158551.737899] iSCSI: iSCSI: Discovery session from [192.168.178.88]



Und hier nochmal eine explizite Fehlersteller, wo die direkte Verbindung der 10'er NIC abbrach:

Code: Alles auswählen

[158630.936385] iSCSI: iSCSI: Discovery session from [192.168.178.88]
[158630.947014] iSCSI: iSCSI: Logout- I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158630.956395] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][192.168.178.88], T[(null)]
[158671.512966] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[158911.492724] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[172042.202848] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[172277.772887] iSCSI: iSCSI: NOPIN response timeout.(10.99.99.2)
[172297.703749] iSCSI: iSCSI: recvmsg timeout
[172297.707955] iSCSI: iSCSI: Close - I[iqn.1998-01.com.vmware:esxi-5e802ba8][10.99.99.2], T[iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae]
[172387.228625] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[172659.425864] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[172927.967669] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[173191.605113] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[173533.368349] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[173796.088233] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[174140.860319] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[174393.663719] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.
[174714.044810] iSCSI: iSCSI: reject WRITE_SAME_16 on non-extent LUN.


[someone]

Neuer Versuch - Neues Ereignis.
Ich habe nun via NFS (mit der gleichen Netzwerkkarte) im ESXi ein Share gemounted und dort eine VM deployed.
Beim Start der neuen VM gab es wieder einen vollen Abbruch. NFS war tot und auch die Route zum iSCSI. Übrigens während ich im Dateibrowser im vsphere Client auf dem NFS Share unterwegs war.
Der Log ist ähnlich dem anderen, aber diesmal war ja scheinbar der NFS die Ursache?
Interessanterweise krachte diesmal nicht die Netzwerkkarte weg. Ich konnte weiterhin pingen und die Ursache war auch nur ein paar Augenblicke. Danach war NFS und iSCSI wieder da.

Was mir schon von 5.5U2 zu 6 aufgefallen war...: Sämtliche VM write Aktionen wie VM erstellen und booten ist deutlich träger. Auch mit SATA Disk kam es zu erheblichen Einbrüchen in der Performance, wenn ich eine Disk angelegt hatte ohne VAAI.

Code: Alles auswählen

2015-05-15T18:59:00.616Z cpu1:33214)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba33:CH:0 T:0 L:0 : Task mgmt "Abort Task" with itt=0xff39 (refITT=0xff33) timed out.
2015-05-15T18:59:01.484Z cpu3:35470)StorageApdHandler: 1204: APD start for 0x4306504ccf90 [e97211c8-f17b9f15]
2015-05-15T18:59:01.484Z cpu2:32907)StorageApdHandler: 421: APD start event for 0x4306504ccf90 [e97211c8-f17b9f15]
2015-05-15T18:59:01.484Z cpu2:32907)StorageApdHandlerEv: 110: Device or filesystem with identifier [e97211c8-f17b9f15] has entered the All Paths Down state.
2015-05-15T18:59:05.132Z cpu1:33214)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba33:CH:0 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2015-05-15T18:59:05.132Z cpu1:33214)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000006 TARGET: iqn.2000-01.com.synology:rackstation.target-1.3a8b398eae TPGT: 0 TSIH: 0]
2015-05-15T18:59:05.132Z cpu1:33214)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.99.99.2:47477 R: 10.99.99.1:3260]
2015-05-15T18:59:05.132Z cpu1:33214)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba33:CH:0 T:0 L:0 : Task mgmt "Abort Task" with itt=0xff3b (refITT=0xff32) timed out.
2015-05-15T18:59:05.132Z cpu0:33225)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x2a (0x439d8042b980, 32778) to dev "naa.600140557506972d11f8d3239da883d7" on path "vmhba33:C0:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2015-05-15T18:59:05.132Z cpu0:33225)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:05.132Z cpu0:33225)ScsiDeviceIO: 2608: Cmd(0x439d8042b980) 0x2a, CmdSN 0x1437 from world 32778 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2015-05-15T18:59:05.132Z cpu0:33225)ScsiDeviceIO: 2608: Cmd(0x439d8040ddc0) 0x2a, CmdSN 0xe7 from world 35470 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2015-05-15T18:59:05.132Z cpu0:33225)ScsiDeviceIO: 2608: Cmd(0x439d803bbe40) 0x2a, CmdSN 0xea from world 35470 to dev "naa.600140557506972d11f8d3239da883d7" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x5 0x20 0x0.
2015-05-15T18:59:05.187Z cpu0:33241)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 10 times
2015-05-15T18:59:05.327Z cpu0:33155)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 20 times
2015-05-15T18:59:05.495Z cpu0:35336)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:05.603Z cpu0:32781)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 40 times
2015-05-15T18:59:06.152Z cpu0:35336)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 80 times
2015-05-15T18:59:06.484Z cpu2:39743)ScsiCore: 62: Starting taskmgmt handler world 39743/2
2015-05-15T18:59:06.496Z cpu0:35391)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:07.251Z cpu0:32781)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 160 times
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a9be50  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8b348f0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8b37230  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a9f690  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8b2d870  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a8d5d0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a9f2d0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a8d210  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a97ad0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a9c3f0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a8c310  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8a96bd0  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8aa3470  3
2015-05-15T18:59:07.484Z cpu1:35487)NFSLock: 612: Stop accessing fd 0x4301d8aa5bd0  3
2015-05-15T18:59:07.486Z cpu0:32967)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:08.484Z cpu1:39746)ScsiCore: 62: Starting taskmgmt handler world 39746/3
2015-05-15T18:59:08.497Z cpu0:35336)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:09.455Z cpu0:32782)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 320 times
2015-05-15T18:59:09.495Z cpu0:35336)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:10.496Z cpu0:35303)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:11.484Z cpu0:35305)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:12.485Z cpu0:33154)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:13.489Z cpu0:35336)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:13.867Z cpu0:39597)NMP: nmp_ThrottleLogForDevice:3130: last error status from device naa.600140557506972d11f8d3239da883d7 repeated 640 times
2015-05-15T18:59:14.483Z cpu0:35336)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600140557506972d11f8d3239da883d7" state in doubt; requested fast path state update...
2015-05-15T18:59:15.133Z cpu2:32811)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from vmhba33:C0:T0:L0 to vmhba33:C3:T0:L0 for device "naa.600140557506972d11f8d3239da883d7".

[Martin]

Hat das System irgendwelche HW-Management-Funktionen, die auch versuchen einen der Netzwerkadapter mit zu benutzen?

[someone]

Hat das System irgendwelche HW-Management-Funktionen, die auch versuchen einen der Netzwerkadapter mit zu benutzen?

Hallo Martin,

was genau meinst Du damit?
Falls Du damit meinst, ob die Karte an eine VM "durchgereicht" wird, kann ich dies verneinen.

Die einzige Besonderheit ist eigentlich, dass die Netzwerkkarte am mini PCI Express Port hängt, wo sonst eine mSATA erwartet wird.

[Martin]

Nein, ich meinte Intel ME/AMT o.ä.

[someone]

Ah, guter Hinweis.
Werde morgen mal das BIOS durchforsten nach solchen Settings.

Derzeit bin ich gerade dabei einen Lasttest zu fahren.
Ich habe mir auf dem Stick nochmal ein ESXi aufgesetzt samt vcenter und migriere munter diverse VMs von iSCSI nach NFS.
Jeweils über die besagte NIC mit der 10er IP.
Bisher läuft alles. Seit einer guten Stunde.
Ein Tipp den ich aus alten vmware-community Foren noch gelesen hatte, war die Geschwindigkeit der NIC fix zu setzen. Sie steht nun auf 1000FullDuplex.

[someone]

Update:

NFS läuft nach wie vor stabil bei mir. Selbst mit dem "inflate Disk", wo es sowohl mit SATA angeschlossene als auch iSCSI Devices alles "sehr träge" wurde und der Rich Client auch Fehlermeldungen war, weil das System so langsam gewesen ist.
Es kommt zwar zu solchen Einträgen im Log

Code: Alles auswählen

2015-05-16T11:34:00.013Z cpu2:34101)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 14 nWaiters = 1
2015-05-16T11:34:00.014Z cpu2:34101)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 18 nWaiters = 1
2015-05-16T11:34:00.020Z cpu2:34101)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 20 nWaiters = 1
2015-05-16T11:34:00.024Z cpu2:34101)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 37 nWaiters = 1
2015-05-16T11:34:00.038Z cpu2:34101)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 66 nWaiters = 1
2015-05-16T11:34:41.136Z cpu1:34647 opID=1fc2dbd5)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 52 nWaiters = 4
2015-05-16T11:35:22.543Z cpu1:34643)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 35 nWaiters = 1
2015-05-16T11:36:22.939Z cpu1:34644)BC: 3535: Pool 0: Blocking due to no free buffers. nDirty = 57 nWaiters = 1

Aber immerhin bleibt das System nun responsive und auch weder NFS noch NIC stürzen ab.

Anbei nochmal ein Pic wegen der angesprochenen PowerManagment Settings.
Speziell bei PCIe ASPM (wo ja die NIC dran ist) weiss ich nicht was ich eintragen soll.

[Dayworker]

Hast du die Syno sowohl per iSCSI als auch NFS in Betrieb?
Falls ja, solltest du dich für eine Betriebsart entscheiden. Früher oder später haben sich bisher alle im Forum genannten NAS-Boxen beim zeitgleichen Betrieb verabschiedet und waren dann Quell merkwürdiger Probleme.

[someone]

Hab jetzt alle VMs via NFS angebunden und warte nun auf NFS 4.1
Danke für den Hinweis mit dem Doppelbetrieb.
Habe eben das iSCSI-Target deaktiviert und im ESXi den Adapter entfern.

[someone]

Ich hoffe, hier liest noch jemand mit... Eure Meinung wäre mir zu meiner unten beschriebenen These sehr wichtig.

Zur Zeit bin ich als Storage mit NFS angebunden und sehr zufrieden damit.
Bisher keine Abstürze/Abbrüche oder ähnliches. (Okay, das VAAI Plugin für NFS von Synology geht nicht, aber andere Geschichte)

Da mir das Thema keine Ruhe gegeben hat, habe ich auf eine DS415+ ein LUN aufgesetzt. Da die DS415+ im Gegensatz zu meiner RS214 VAAI unterstützt, wurde es auch genutzt bei meiner Test Lizenz des ESXi (Testfall create thick disk)
Es gab hier auch keine Fehlermeldungen im Log oder sonstige "Hänger".

Jetzt bin ich auf einen interessanten Artikel gestoßen:

http://www.vbrain.info/2014/11/17/thing ... licensing/

Hier steht beschrieben, dass VAAI im ESXi immer aktiviert ist, unabhängig von der verwendeten Lizenz.

Da die iSCSI Implementierung auf der RS214 und DS415+ durch die Verwendung der gleichen DSM (Synology Software Version) gleich sein sollte - jetzt mal die verwendete CPU Arch außen vor gelassen - bleibt der einzige Unterschied, dass die 415 VAAI unterstützt und die 214 eben nicht.

Ich stelle daher mal folgende These in den Raum: ESXi hat Probleme mit einem iSCSI Storage, welches nicht VAAI unterstützt. Möglicherweise werden die VAAI Befehle immer abgesendet und daher wird auch von einem ganz anderen Timing/Queuing der Befehle intern ausgegangen, so, dass die Resource ruckzuck Busy ist und in meinem Falle der NIC-Stack um die Ohren fliegt.

[bla!zilla]

Jetzt bin ich auf einen interessanten Artikel gestoßen:

http://www.vbrain.info/2014/11/17/thing ... licensing/

Hier steht beschrieben, dass VAAI im ESXi immer aktiviert ist, unabhängig von der verwendeten Lizenz.

Korrekt. Da bin ich schon vor eineinhalb Jahren drauf gestoßen.

http://www.vcloudnine.de/vstorage-api-f ... ials-plus/

Ich stelle daher mal folgende These in den Raum: ESXi hat Probleme mit einem iSCSI Storage, welches nicht VAAI unterstützt. Möglicherweise werden die VAAI Befehle immer abgesendet und daher wird auch von einem ganz anderen Timing/Queuing der Befehle intern ausgegangen, so, dass die Resource ruckzuck Busy ist und in meinem Falle der NIC-Stack um die Ohren fliegt.

Das würde ich so nicht sehen.

[~thc]

Ich betreibe seit vielen Jahren ein iSCSI-Target definitiv ohne VAAI mit einem ESXi 5.0 ohne irgendwelche Probleme.

Bei Synology-NAS muss man auch beachten, dass man iSCSI-LUNs auf Block- oder File-Ebene (eigene Partition oder Datei auf dem Volume) erstellen kann und diese sich dann auf der Synology mit den anderen Diensten um verschiedene Ressourcen streiten.

Auf zwei der drei Synologys, die ich für Backup-Zwecke betreibe, sind immer mehrere Dienste aktiv, ohne sich in die Quere zu kommen. Dort sind aber auch keine VMDKs involviert und ich lasse die Backups natürlich nicht gleichzeitig laufen:

Code: Alles auswählen

Syn1: NFS: VM-Anbindung fürs Backup
      NFS: ESXi für ISO-Abbilder

Syn2: NFS: VM-Anbindung fürs Backup
      CIFS: VM-Anbindung fürs Windows Server Backup
      NFS: ESXi für ISO-Abbilder

Syn3: CIFS: VM-Anbindung fürs Windows Server Backup
      iSCSI: VM-Anbindung fürs Windows Server Backup
      NFS: ESXi für ISO-Abbilder

[Supi]

Ich stelle daher mal folgende These in den Raum: ESXi hat Probleme mit einem iSCSI Storage, welches nicht VAAI unterstützt.

Da VAAI glaube ich erst ab 4.1 verfügbar ist, ist die These an der Realität vorbei.

Ich betreibe eine Dell MD3220i per ISCSI als auch ein Lenovo PX6-300D per ISCSI und NFS. (ESXI 5.5)

Das Lenovo NAS seit letztem Jahr ohne Probleme parallel mit beiden Protokollen, ohne dass das NAS VAAI wie die MD3220i supported.


Meine Vermutung zu der Problematik von dir:

Das RS214 hat keine VMWARE Zertifizierung wie das 415+. Es ist also erst mal generell unsupported. Auch wenn die NAS Software von der Oberfläche die gleiche sein mag, so sind die NAS doch mit anderer HW gebaut und damit auch mit anderen "internen" Treiber etc. (Synology OS ist auch ein Linux Kernel)

Wenn dann noch so Eigenheiten bei ISCI möglich sind, wie ~thc schreibt, werden die Problemfelder noch größer.

Ich kann mich bei meinem alten Thecus NAS entsinnen, das hier auch noch eine ISCSI iSCSI Block Size einstellbar war, die für VMWARE 512byte statt 4KB sein musste.


Wenn es jetzt mit NFS funktioniert, seit froh drüber. Es ist das einfacher Protokoll vom Einrichten. Und bei einem NAS mit 2 Platten R1 braucht es auch kein Multipathing.

Ebenso hätte ja auch deine "Whitebox" Probleme machen können.

[someone]

Meine Vermutung zu der Problematik von dir:

Das RS214 hat keine VMWARE Zertifizierung wie das 415+. Es ist also erst mal generell unsupported. Auch wenn die NAS Software von der Oberfläche die gleiche sein mag, so sind die NAS doch mit anderer HW gebaut und damit auch mit anderen "internen" Treiber etc. (Synology OS ist auch ein Linux Kernel)

Wenn dann noch so Eigenheiten bei ISCI möglich sind, wie ~thc schreibt, werden die Problemfelder noch größer.

Ich kann mich bei meinem alten Thecus NAS entsinnen, das hier auch noch eine ISCSI iSCSI Block Size einstellbar war, die für VMWARE 512byte statt 4KB sein musste.

Da hast Du natürlich recht. An diese Unterschiede habe ich nämlich noch nicht gedacht gehabt.

Wenn es jetzt mit NFS funktioniert, seit froh drüber. Es ist das einfacher Protokoll vom Einrichten. Und bei einem NAS mit 2 Platten R1 braucht es auch kein Multipathing.

Ebenso hätte ja auch deine "Whitebox" Probleme machen können.

Auch da gebe ich Recht. Das Multipathing bei iSCSI hatte ich auch nur drin, weil "ich's konnte". Wenn die Spielerei halt nicht so geht, wie ich möchte, ist das halt so. Mein SATA Controller hätte auch kein Backup drin...

Danke auch noch an die anderen Beiträge. Hat mir alles weitergeholfen.
Im Übrigen schien es schon häufiger Probleme mit iSCSI und Synology gegeben zu haben. Das US Syno Forum hat viele Einträge. Auch wenn einige älter sind, wird dort z.B. beschrieben dass die Verbindung unter hoher iSCSI Last abbricht. Kommt mir bekannt vor....

[~thc]

Auch wenn einige älter sind, wird dort z.B. beschrieben dass die Verbindung unter hoher iSCSI Last abbricht. Kommt mir bekannt vor....

Kann ich auch bei größeren Backup-Jobs (>500 GB) mit >100 MB/s Netto-Durchschnitts-Leistung über iSCSI nicht bestätigen.

[irix]

Mit vSphere 6.0 sind die VAAI+3rd.Party Plugins in den Editions nach unten gerutscht und stehen nun auch in Standard zur Verfuegung. Das in 5.5 und frueher VAAI genutzt werden konnte auch wenn es Lizenztechnisch untersagt war ist aber richtig.

Gruss
Joerg

[someone]

Danke für die Info, Joerg.

thc: welche Syno benutzt Du? Ist es eine vmware zertifizierte?
In den Foren hatte ich Probleme mit der 18er Serie gelesen gehabt.

[~thc]

Dthc: welche Syno benutzt Du? Ist es eine vmware zertifizierte?

DS214