Seite 1 von 1

2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 11:23
von webmagic
Hallo Zusammen,

habe folgende Konstellation: (bin nicht der Vmware Guru)

vCenter A 5.5[/b] mit 4 x Hosts und Enterprise Lizenz / vCenter Windows 2008 Server
ca. 100VM's


vCenter B 6.0
mit 2 x Hosts Essential Plus Lizenz (derzeit Testmodus) / vCenter VCSA
hier werden nur 3 VMs laufen

beide vCenter greifen auf den gleichen Storage, vCenter B erhält nur 1 Volume mit 500GB mehr nicht...

beide vCenter sind im gleichen V-Lan (Managment & iSCSI )


zum Verständnis, die vCenter gehören nicht zusammen ....

am Wochenende ist am vCenter A ein Host "gestanden" Netzwerk technisch nicht erreichbar und vorallem wurden die VM's nicht verschoben..(HA)
Fehlermeldung "vSphere HA-Failover einer virtuellen Maschine fehlgeschlagen...

danach habe ich mal die Logfiles durchforstet und fand so einen Eintrag:
sehe dann solche Einträge am Host welcher zu vCenter A gehört:

[viclient:SoapTran:P:26] 2017-01-07 08:34:27.434 Invoke 7694 Finish RetrieveContents on PropertyCollector:propertyCollector ["vCenterB".xxxx.xxx] - Serial:0,000, Server:000,010
oder
[viclient:SoapTran:W:10] 2017-01-06 22:19:12.388 Invoke 19177 Finish WaitForUpdates on PropertyCollector:ha-property-collector [IP von HA Master Host vom vCenterB] - Serial:0,000, Server:014,279
[viclient:QuickInf:W:10] 2017-01-06 22:19:12.388 WaitForUpdates Version = 19008
[viclient:SoapTran:W:10] 2017-01-06 22:19:12.388 Invoke 19178 Start WaitForUpdates on PropertyCollector:ha-property-collector [IP von HA Master Host vom vCenterB]. [operationID:4DB7BB1F-00004AEA]
[viclient:SrvMsg :W:10] 2017-01-06 22:19:12.388 RMI Request Vmomi.Core.PropertyCollector.WaitForUpdates - 19178

[viclient:SoapTran:W:24] 2017-01-07 10:59:38.052 Invoke 22001 Finish WaitForUpdates on PropertyCollector:session[52a127d6-5b1a-a13b-dab9-b5defcb4194a]52faf16f-20cc-f774-c227-6ef0a31c81e8 [IP von HA Master Host vom vCenterB] - Serial:0,001, Server:900,018
Suppressed: VirtualInfrastructure.Soap.MethodInvocationSoapImpl: Die Anforderung ist fehlgeschlagen, da der Remoteserver '[IP von HA Master Host vom vCenterB]' zu lange nicht reagiert hat. (Zeitüberschreitung des Befehls, da der Remoteserver zu lange nicht reagiert hat.)
[viclient:Error :W:24] 2017-01-07 10:59:38.052 ConnectionError occurred while executing WFU
VirtualInfrastructure.Exceptions.RequestTimedOut: Die Anforderung ist fehlgeschlagen, da der Remoteserver '[IP von HA Master Host vom vCenterB]' zu lange nicht reagiert hat. (Zeitüberschreitung des Befehls, da der Remoteserver zu lange nicht reagiert hat.)
at VirtualInfrastructure.Soap.SoapServiceWrapper.DoInvokeSync(ManagedObject mo, MethodName methodName, Object[] parameters, Int32 timeoutSecs)
at VirtualInfrastructure.Soap.SoapTransport.VirtualInfrastructure.Transport.InvokeMethod(ManagedObject mo, MethodName methodName, Object[] pars)
at VirtualInfrastructure.ManagedObject.InvokeMethod(MethodName methodName, Object[] pars)
at Vmomi.Core.PropertyCollector.WaitForUpdates(String version)
at VirtualInfrastructure.Updates.PollerDispatcherImpl.ExecuteSingleWFU()
at VirtualInfrastructure.Updates.PollerDispatcherImpl.PollWaitForUpdates()
System.Net.WebException: Zeitüberschreitung des Befehls, da der Remoteserver zu lange nicht reagiert hat.

habe ich es richtig verstanden, meine Hosts aus dem vCenter A mit ESXi 5.5 versuchten sich immer am vCenter mit ESXi 6.0 zu melden / kommunizierien? Obwohl sich am vCenter A korrekt registriert sind und seit monaten / jahr ohne Probleme liefen...

mir ist klar, dass ich das v-lan Managment der beiden trennen muss, dass aber trotzdem so was passieren kann....

Wer hat ähnliche Erfahrung bzw. ist da noch etwas anderes Faul?


Danke für die Unterstüzung
web

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 12:08
von JustMe
Dass mehrere vCenter im selben VLAN arbeiten sollte eigentlich kein Problem darstellen, denke ich...
...habe zumindest bisher noch nie ein solches festgestellt.

Ich mutmasse eher, dass beide HA-Cluster versuchen, auf dieselben Datastores mit ihrem Heartbeat zuzugreifen, da ich mir nicht sicher bin, dass VMware einen solchen Fall "abfaengt"...

Pruefe doch mal in beiden HA-Konfigurationen, welche Heartbeat Datastores eingestellt sind, und "entzerre" das ggfs., da Du ja schreibst, dass vCenter B sowieso nur auf einen eigenen begrenzten Bereich zugreifen soll.

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 12:45
von irix
Auf die Datastore Heartbeats wuerde ich auch setzen.

Hier tummeln sich div. vCenter im gleichen Subnetz/VLAN und das kann als Ursache ausgeschlossen werden. Bitte pruefe ob die vCenter ID fuer jedes vCenter eine andere ist (0-63) weil davon die Erstellung von MACs abhaengt.

Allerdings tragen wir hier sorge das ein Datastore zu zu den Hosts des einen vCenters gehoert und nicht das die ueberall gemountet sind. Mal von deinem Problem abgesehen mag das SIOC nicht so gerne weil es dann "fremde" IOs sieht.

Gruss
Joerg

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 13:42
von webmagic
@irix @justMe

vielen dank für die Infos...

vCenter 5.5 hat die ID 29
vCenter 6.0 hat die ID 22

zu den Heartbeat Datastores:
sind auch unterschiedlich....

was kann ich noch kontrollieren?
Wieso diese meldungen bei den Logfiles?

Danke nochmals

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 14:27
von webmagic
mir ist noch folgendes aufgefallen,

RVTools unter dem Reiter vMultipath:

beim vCenter ESXi 5.5 keine Einträge (Der Ausgefalle Host gehört zu diesem vCenter)

beim vCenter ESXi 6.0 sehe ich Einträge...

muss sagen, dass ich die Umgebung vom vCenter ESXi 5.5 nicht konfiguriert habe, sehe dort auch, dass nicht überall iSCSI Portbindung & co konfiguriert wurde und auch nicht "round robin"

kann dies auch ein Problem gewesen sein?

Kann ich während dem voll Betrieb iSCSI Portbinding aktivieren oder lieber an einem Wartungsfenster?

Danke nochmals

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 14:29
von JustMe
Tja, war ja nur eine Vermutung...

Bei genauerem Hinsehen frage ich mich allerdings, aus welcher Datei genau Du die Logschnipsel (von mehreren Tagen) zusammengeklaubt hast.
"[viclient:SoapTran:W:10]" ist fuer einen HOST vielleicht nicht so gebraeuchlich...

Die andere Frage waere:
Worum geht es jetzt genau?
Um die Meldungen, oder um die nicht gestarteten VMs?

Ich vermute (leider wieder nur vermutet :-)) da mal zwei unterschiedliche Gruende.

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 14:53
von webmagic
@JustMe

ich habe von dem ausgefallenen Host ein Export der Logfiles gemacht und extrahiert und dann im:

viclient-4-0002

viclient-6-0002
jeweils den einen Eintrag gepostet, nicht aus mehreren Tagen...

Um was genau geht es?

ich bin neu dazu gestossen und sollte die VMware Umgebung mitbetreuen mit dem Externen Dienstleister (Welche hauptsächlich Hyper V machen), war vor kurzem auf einem Fastrack V6...(mein erster intensiv Kurs bezüglich VMware)

bin deshalb vorsichtig bei Änderungen der Umgebung 5.5, weil ich es nicht installiert habe und wir 24/7 Betrieb haben...

Es geht darum, wieso der Host gestanden ist ohne purple Screen & co und die VM's nicht verschoben wurden automatisch..
vMotion funkt, DRS funkt....

und bei der fehlersuche fand ich halt die Infos beim Host vom anderen vCenter und umgekehrt....

Danke erneut

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 15:20
von JustMe
Aah, so langsam lichtet sich der Nebel ;-)

Wie genau und womit hast Du "ein Export der Logfiles" gemacht? vSphere Client, Web Client, vm-support, ...

Die viclient-Dateien aus Deinem Logbundle kannst Du jedenfalls komplett getrost beiseite legen; die behandeln Informationen aus dem lokalen Windows-C#-Client.

Wg. mehreren Tagen: Wenn Du Dir die Zeitstempel Deiner Ausschnitte anschaust, dann ergeben sich DOCH mehrere Tage...
2017-01-07 08:34:27.434
2017-01-06 22:19:12.388

Interessanter sind ganz sicher die Dateien innerhalb der .tgz: vmkernel*, vmkwarning*, hostd*

Dann ermittelst Du noch moeglichst genau den Zeitpunkt, wann der Host nicht ansprechbar war. Beachte: Die Host-Logfiles haben Zeitstempel in UTC; fuer unsere momentane Winterzeit ist da jeweils 1h zu addieren.
Was wurde zu diesem Zeitpunkt unternommen? Hat jemand mal auf die Host-Konsole geschaut?

PS:
Das mit dem "neu dazu gestossen" ist sicher kein Problem. Wir alle hier haben irgendwann mal "ganz frisch" angefangen.

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 16:57
von webmagic
@JustMe

ja ja jetzt errinnere ich mich auch das mit dem viclient...

der Vorfall war am 07.01.17 ca. 11:00(Samstag)

habe soeben mit dem bereitschafthabenden gesprochen.

von den 4 Host ist der Host , auf welchem der vCenter lief gestanden, d.h. Netzwerktechnisch nicht erreichbar....

die anderen 3 Host waren erreichbar, die Anzeige der Virtuellen Maschinen sei aber so "grau" gewesen, liefen aber...

der Host welcher nicht erreichbar war, am DC konnte man sich einloggen und als man restart angestossen hatte, habe man einige Minuten gewartet, danach einen kaltstart durchgeführt...

danach hat man die Maschinen manuellen starten müssen auf dem ausfallenden host....

zu den Logfiles:

leider habe ich von dem Zeitpunkt nur die vmwarning: (muss noch dass Logging anpassen)


2017-01-07T01:05:43.665Z cpu29:3309406)WARNING: CBT: 2060: Unsupported ioctl 43
TSC: 648761 cpu0:1)WARNING: ACPI: 1386: SPCR: Detected unsupported reg bit width (0); will assume 8 bits.
0:00:00:00.000 cpu0:1)WARNING: Serial: 646: Invalid serial port config: mem-mapped to addr 0x0.
0:00:00:06.840 cpu0:1)WARNING: MemMap: 2803: Node 3 has no free pages
0:00:00:06.850 cpu0:1)WARNING: Vmkperf: 3929: 2 perf counters in use by BIOS
0:00:00:12.159 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:01.0 (PCIe RP[0000:80:01.0])
0:00:00:12.159 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:01.1 (PCIe RP[0000:80:01.1])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:02.0 (PCIe RP[0000:80:02.0])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:02.1 (PCIe RP[0000:80:02.1])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:02.2 (PCIe RP[0000:80:02.2])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:02.3 (PCIe RP[0000:80:02.3])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:03.0 (PCIe RP[0000:80:03.0])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:03.1 (PCIe RP[0000:80:03.1])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:03.2 (PCIe RP[0000:80:03.2])
0:00:00:12.160 cpu0:32768)WARNING: PCI: 1265: Failed to setup interrupt for device 0000:80:03.3 (PCIe RP[0000:80:03.3])
2017-01-07T11:11:54.328Z cpu3:33538)WARNING: hpnmi: NMI module is not supported on this HP Server. NMI module will not load.
2017-01-07T11:11:54.329Z cpu3:33538)WARNING: Elf: 2822: Kernel based module load of hpnmi failed: Failure <Mod_LoadDone failed>
2017-01-07T11:11:55.397Z cpu26:33543)WARNING: LinuxSignal: 538: ignored unexpected signal flags 0x2 (sig 17)
2017-01-07T11:11:56.979Z cpu26:33543)WARNING: qlnativefc: (b:0.0): scsi(0): num_io_queue for CPU affinity use: 2
2017-01-07T11:11:59.771Z cpu26:33543)WARNING: qlnativefc: (b:0.1): scsi(1): num_io_queue for CPU affinity use: 2
2017-01-07T11:12:02.654Z cpu30:33406)WARNING: Team.etherswitch: TeamES_Activate:692: Failed to initialize beaconing on portset 'pps': Not implemented.
2017-01-07T11:12:16.759Z cpu7:33567)WARNING: IT: 346: Removing vector 101 while it's being controlled by 2 39
2017-01-07T11:12:16.851Z cpu7:33567)WARNING: IT: 346: Removing vector 91 while it's being controlled by 2 29
2017-01-07T11:12:16.942Z cpu7:33567)WARNING: IT: 346: Removing vector 81 while it's being controlled by 2 19
2017-01-07T11:12:17.032Z cpu7:33567)WARNING: IT: 346: Removing vector 71 while it's being controlled by 2 9
2017-01-07T11:12:17.161Z cpu34:33573)WARNING: VMK_PCI: 705: device 0000:00:14.0 failed to allocate 8 MSIX interrupts
2017-01-07T11:12:17.161Z cpu34:33573)WARNING: LinPCI: LinuxPCI_EnableMSIX:886: 0000:00:14.0: Interrupt allocation failed with Failure
2017-01-07T11:12:17.161Z cpu34:33573)WARNING: VMK_PCI: 686: device 0000:00:14.0 failed to allocate MSI interrupt
2017-01-07T11:12:17.161Z cpu34:33573)WARNING: LinPCI: LinuxPCI_EnableMSI:762: 0000:00:14.0: Interrupt allocation failed with Failure
2017-01-07T11:12:23.121Z cpu20:33406)WARNING: NetDVS: 567: portAlias is NULL
2017-01-07T11:12:23.228Z cpu20:33406)WARNING: NetDVS: 567: portAlias is NULL
2017-01-07T11:12:23.232Z cpu20:33406)WARNING: NetDVS: 567: portAlias is NULL
2017-01-07T11:12:23.326Z cpu4:33701)WARNING: iscsi_vmk: iscsivmk_ModuleInit:509: Offloading digest calculation using CRC32 instruction set
2017-01-07T11:12:24.620Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:0 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.620Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000009 TARGET: iqn.19xxxxxxxxxxxxxx TPGT: 7d0 TSIH: 0]
2017-01-07T11:12:24.620Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xx.xxx:19706 R: 10.xx.xxx:3260]
2017-01-07T11:12:24.621Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:1 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.621Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000a TARGET: iqn.19xxxxxxx536960259 TPGT: 7d2 TSIH: 0]
2017-01-07T11:12:24.621Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxx:37249 R: 10.xx:3260]
2017-01-07T11:12:24.622Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:2 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.622Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000b TARGET: iqn.xxx53xxxxxxxxx59 TPGT: 7d1 TSIH: 0]
2017-01-07T11:12:24.622Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxx:34685 R: 10.xxx:3260]
2017-01-07T11:12:24.623Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:3 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.623Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000c TARGET: iqn.xxxxx.5xxxxxxxx259 TPGT: 7d3 TSIH: 0]
2017-01-07T11:12:24.623Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxx:30869 R: 10.xxxx:3260]
2017-01-07T11:12:24.878Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:0 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.878Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000005 TARGET: iqn.xxxx.5xxxx0039 TPGT: 7d3 TSIH: 0]
2017-01-07T11:12:24.878Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxx:12940 R: 10.xxxxx:3260]
2017-01-07T11:12:24.880Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:1 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.880Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000006 TARGET: iqn.xxxxx5xxxxx039 TPGT: 7d1 TSIH: 0]
2017-01-07T11:12:24.880Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxxx:60356 R: 10.xxxxxxx1:3260]
2017-01-07T11:12:24.881Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:2 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.881Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000007 TARGET: iqn.xxxxx:sn.5xxxxx039 TPGT: 7d0 TSIH: 0]
2017-01-07T11:12:24.881Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxxx:22736 R: 10.xxxxxx:3260]
2017-01-07T11:12:24.882Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:3 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-07T11:12:24.882Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000008 TARGET: iqn.xxxxxxxx.536960039 TPGT: 7d2 TSIH: 0]
2017-01-07T11:12:24.882Z cpu6:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.xxxxxxxx:61685 R: 10.xxxxxxx:3260]
2017-01-07T11:12:34.281Z cpu28:33829)WARNING: Supported VMs 512, Max VSAN VMs 100, SystemMemoryInGB 512
2017-01-07T11:12:34.281Z cpu28:33829)WARNING: MaxFileHandles: 3000, Prealloc 1, Prealloc limit: 32 GB, Host scaling factor: 1
2017-01-07T11:12:34.292Z cpu28:33829)WARNING: DOM memory will be preallocated.
2017-01-07T11:12:55.554Z cpu32:34479)WARNING: UserEpoll: 542: UNSUPPORTED events 0x40
2017-01-07T11:12:56.421Z cpu32:34479)WARNING: LinuxSocket: 1854: UNKNOWN/UNSUPPORTED socketcall op (whichCall=0x12, args@0xffc2bd8c)
2017-01-07T11:13:20.501Z cpu6:35687)WARNING: LinChar: LinuxCharWrite:574: This message has repeated 1 times: M=208 m=0 flags=0x101002 write 1008 bytes at offset 0x0 failed (-16)
2017-01-07T11:13:20.503Z cpu6:35687)WARNING: LinChar: LinuxCharWrite:574: This message has repeated 2 times: M=208 m=0 flags=0x101002 write 1008 bytes at offset 0x0 failed (-16)
2017-01-07T11:13:20.504Z cpu6:35687)WARNING: LinChar: LinuxCharWrite:574: This message has repeated 3 times: M=208 m=0 flags=0x101002 write 52 bytes at offset 0x0 failed (-16)

bei dieser Kiste, verwenden wir die 2 x 10GB NW Karten und die eingebaute FC und Mainboard Nics nicht

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 10.01.2017, 17:22
von JustMe
Aehm, mal langsam...
...und mit Bedacht.

danach hat man die Maschinen manuellen starten müssen auf dem ausfallenden host....

...soll was genau bedeuten?

Liefen die Gaeste in den VMs noch, und waren ansprechbar? "Nur" das Management des ESXi-Hosts war nicht mehr moeglich?

Wenn die VMs nicht automatisch gestartet wurden, und manuell auf anderen Hosts (oder demselben, nachdem er wieder hochgelaufen war) gestartet wurden, dann laesst sich in dem vmware.logs in jedem Home-Verzeichnis der betroffenen VMs mal schauen, was die zum Zeitpunkt sagen. Beachte: Nicht das AKTUELLE vmware.log (das wurde ja erst beim VM-Start begonnen), sondern im direkt vorherigen.

Der Logschnipsel zeigt nur den SYSTEMSTART...
Wenn wirklich vor den 0:00:00:00.000er Eintraegen die letzte Warnung von 10-11 Stunden vorher war, dann muss man wirklich auch noch in das vmkernel.log schauen, ob das evtl. noch weiter befuellt wurde.

Wenn ein Host nicht mehr "antwortet", kann es aber auch sein, dass ebendiese Logdateien nicht mehr bedient werden...

Zuletzt noch (aber vmtl. letztrangig):
WO war "die Anzeige der Virtuellen Maschinen [] aber so "grau" gewesen"?
Im vSphere Client? Wo angemeldet?

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 11.01.2017, 10:10
von webmagic
@JustMe
nur die Gäste auf dem "ausgefallenen Host" waren nicht mehr erreichbar, nachdem kaltstart vom Host, musste man manuell diese starten...

Zuletzt noch (aber vmtl. letztrangig):
WO war "die Anzeige der Virtuellen Maschinen [] aber so "grau" gewesen"?
Im vSphere Client? Wo angemeldet?


die anderen Gäste welche diese "komische" Anzeige hatten, liefen auf den anderen 3 Hosts, die Anzeige war am vSphere Client direkt jeweils am Host angemeldet, da ja dass vCenter auch tot war (lief auf dem ausgefallen Host)

zu den Logs von dem VM's:
bin jetzt die log durchgegangen, leider enden die logs mit dem letzten neustart und das neueste logfile mit dem neustart nachdem Vorfall....

wo könnte ich noch etwas nachschauen?
Was die ursache des Ausfalls war

vielen dank nochmlas

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 11.01.2017, 11:39
von JustMe
Nun, Du hattest mal geschrieben:
"der Host welcher nicht erreichbar war, am DC konnte man sich einloggen und als man restart angestossen hatte"

Daraus hatte ich messerscharf geschlossen, dass "DC" eine VM auf dem nicht erreichbaren Host waere. War wohl wieder falsch...

Wg. Logs hatte ich doch schon vmkernel* und hostd* erwaehnt.

Wenn der komplette Host nicht mehr reagierte (Management nicht, und auch die VMs nicht), dann waere auch ein Blick in die HW-Logs des (hoffentlich ESXi-supporteten) Hosts interessant.

Das komplette Logbundle aller Hosts im betroffenen Cluster (vCenter wird nicht viel helfen, wenn die VC-VM mit ausgefallen war) solltest Du Eurem vSphere-Dienstleister zur Analyse vorlegen. Die kriegen ja schliesslich Geld dafuer ;-)

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 11.01.2017, 12:19
von webmagic
@JustMe

mit DC meinte ich eigenlich DCUI, mein Fehler...

vmkernel* und host* habe ich von dem Datum 07.01. nicht, vermutlich logglevel zu kurz gesetzt....

ich werde mal die Logs vom Host anschauen (iLO)

Der Server ist 4 Monate alt, HP Dl380 g9 und mit HP ESX Image installiert

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 11.01.2017, 12:50
von JustMe
Achso, DCUI.
Wenn das noch "bedienbar" war, dann wird vmtl. das iLO keine Fehler aufweisen. Dass der ESXi sich intern verschluckt, kommt leider schon mal vor, wenn auch wirklich nicht soooo oft. Zur genauen Version des ESXi habe ich aber in Deinen bisherigen Ausfuehrungen noch nix entdeckt. Aktuellste Patches eingesetzt?

Werden die Logs des Hosts denn ueberhaupt auf "persistent storage" gespeichert (KB2032823)? Dass nach heute 4 Tagen bereits alles weg sein soll, ist eher ungewoehnlich. Und bei einem so neuen Server wird doch keiner mutwillig das Log-Schreiben verkuerzt haben.

Sollte das Problem haeufiger auftreten, kann Euch vielleicht auch ein Syslog-Server helfen. Der sollte aber nicht auf einer VM im Cluster laufen ;-)

Wenn's nur 1x war: Haken dran, sobald alle besprochenen/denkbaren Punkte fuer "intensiveres" bzw. langlebigeres Logging implementiert wurden.

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 12.01.2017, 12:40
von webmagic
ich glaub die logs liegen nicht auf "persistent storage", das erklärt auch wieso ich da nix mehr finde...

da die lokalen hdd, als remote bei der installation gesehen wurden und nicht auf persistent angepasst wurden... fehlen mir die Logfiles vom Vorfall

wie du empfohlen hast, abhaken und syslog server einrichten > physischen

Danke nochmals

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 12.01.2017, 13:15
von JustMe
Ob die LUNs der lokalen HDs als local oder remote angezeigt werden, ist eigentlich eher egal...

Dass kein Persistent Storage fuer's Logging eingeschaltet ist, sollte als Warnung am Host stehen. OK, ausser jemand hat die Warnung bereits bestaetigt.

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 12.01.2017, 13:47
von kastlr
Hallo,

schau doch mal unter /var/run/log nach, dort liegen auch noch archivierte Logfiles.
Eventuell reichen die noch weit genug zurück.

Gruß,
Ralf

Re: 2 unterschiedliche vCenter im gleichen V-Lan

Verfasst: 31.01.2017, 09:59
von webmagic
@JustMe
@kastlr
@irix

Hallo, das Problem ist erneut aufgetaucht, zum Glück bei einem Wartungsfenster....
wir waren dabei die Switch FW am Updaten neustarten, die netapp nur auf ein "Cluster" am laufen, da hatte ich das vCenter offen, siehe da beim Problem Host zuletzt waren alle VM Gueste grau hinterlegt...

der Host (HP dl380 g9) war auf seiner VM Managment IP nicht erreichbar, an der Console (DCUI) reagierte er... dieser Zustand dauerte ca. 2 - 5 Minuten, vielleicht auch etwas länger...

auf einmal war er wieder erreichbar und die VM Gueste liefen wieder, dass heisst am Datastore kann es nicht liegen, nachdem die Gäste wieder ohne Probleme liefen....

ich habeden Host 2 x ident, beim anderen ist dies nicht passiert...
habe 2 x 10GB Karte drinnen überkreuz an 2 x Switches angeschlossen, Pro karte 1 x VM Managnet + Gäste am anderen iSCSI VMkernel...

haben danach auch die Redundanz der Karten getestet, sprich an einem 10GB die Karte gezogen & co, kein Ausfall hat super geklappt...

zu den Logs zum Ausfall:
Am vCenter gibt es nur den Eintrag: host.xxx.sss.local Netzwerkkonnektivität unterbrochen

vmwarning habe ich was gefunden, poste nur den Abschnitt, welcher beim Problem Host gab und am anderen nicht, sind viele NetApp Meldungen, was aber klar ist, da ein Teil beim Wartungsfenster abgeschaltet war....


2017-01-25T19:56:47.922Z cpu34:xx32879)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxxxx53305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T19:56:xx.924Z cpu20:xx32916)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx3553305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T19:56:51.800Z cpu24:xx37665)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx05d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T19:56:51.801Z cpu24:xx37665)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx553305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T19:56:51.801Z cpu24:xx37665)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx53305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T19:56:51.801Z cpu24:xx37665)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx03553305d472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T19:56:51.855Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:3 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T19:56:51.855Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000008 TARGET: iqn.1992-08.com.netapp:sn.xxxxx39 TPGT: 7d2 TSIH: 0]
2017-01-25T19:56:51.855Z cpu30:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:56174 R: 10.20.xxx.xx:3260]
2017-01-25T19:56:51.855Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:0 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T19:56:51.855Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000009 TARGET: iqn.1992-08.com.netapp:sn.xxxxxx59 TPGT: 7d0 TSIH: 0]
2017-01-25T19:56:51.855Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:52538 R: 10.20.xxx.56:3260]
2017-01-25T19:56:57.922Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:1 : Task mgmt "Abort Task" with itt=0xea845 (refITT=0xea838) timed out.
2017-01-25T19:56:57.922Z cpu22:xx32870)WARNING: ScsiPath: 6323: Set retry timeout for failed TaskMgmt abort for CmdSN 0x258380, status Failure, path vmhba41:C1:T0:L1
2017-01-25T19:56:57.922Z cpu22:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:3 : Task mgmt "Abort Task" with itt=0xea844 (refITT=0xea83a) timed out.
2017-01-25T19:56:57.922Z cpu6:xx32893)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxxxx59724f" state in doubt; requested fast path state update...
2017-01-25T19:56:57.924Z cpu22:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:2 : Task mgmt "Abort Task" with itt=0xea846 (refITT=0xea839) timed out.
2017-01-25T19:56:57.924Z cpu38:xx32882)WARNING: ScsiPath: 6323: Set retry timeout for failed TaskMgmt abort for CmdSN 0xf5009, status Failure, path vmhba41:C1:T0:L2
2017-01-25T19:57:04.239Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:1 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T19:57:04.239Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d00000a TARGET: iqn.1992-08.com.netapp:sn.xxxxxx259 TPGT: 7d2 TSIH: 0]
2017-01-25T19:57:04.239Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:53729 R: 10.20.xxx.xx:3260]
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:1 : Task mgmt "Abort Task" with itt=0xea8xx (refITT=0xea838) timed out.
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:3 : Task mgmt "Abort Task" with itt=0xea849 (refITT=0xea83a) timed out.
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:1 T:0 L:2 : Task mgmt "Abort Task" with itt=0xea84a (refITT=0xea839) timed out.
2017-01-25T19:57:04.239Z cpu35:33704)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx552395d472d4a59394e" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu30:xx32882)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxxxx52395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu35:33704)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx3552395d472d4a593642" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu20:xx32898)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx3305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:2 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000007 TARGET: iqn.1992-08.com.netapp:sn.xxxxx0039 TPGT: 7d0 TSIH: 0]
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:39949 R: 10.20.xxx.xx:3260]
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:1 L:4 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x135c2c) timed out.
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:1 L:0 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x135c0a) timed out.
2017-01-25T19:57:04.239Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:1 L:1 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x135bf8) timed out.
2017-01-25T19:57:04.239Z cpu24:32873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxx53305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu25:32872)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxx03553305d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T19:57:04.239Z cpu16:32871)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx303553305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T19:57:04.923Z cpu33:4718317)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx8303553305d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T19:57:04.924Z cpu35:4718873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx303552395d472d4a59394e" state in doubt; requested fast path state update...
2017-01-25T19:57:04.924Z cpu35:4718873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx303552395d472d4a593642" state in doubt; requested fast path state update...
2017-01-25T19:57:04.924Z cpu35:4718873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx038303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:04.924Z cpu35:4718873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx0038303553305d472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T19:57:04.924Z cpu35:4718873)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxxx53305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T19:57:04.930Z cpu24:4721528)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx8303553305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T19:57:05.931Z cpu35:4720396)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx38303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:06.924Z cpu35:4718329)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx38303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:07.924Z cpu35:43808)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx38303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:08.928Z cpu35:4718875)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx38303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:09.922Z cpu35:4721303)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:10.927Z cpu35:4718315)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:11.924Z cpu35:4718327)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxxx8303552395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T19:57:12.929Z cpu16:32819)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.xxxx38303553305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T19:57:14.239Z cpu33:4721529)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx03553305d472d4a597251": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.241Z cpu24:4718317)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx03553305d472d4a597255": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.244Z cpu16:33142)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx53305d472d4a597253": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.249Z cpu35:4720199)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx303552395d472d4a593642": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.249Z cpu35:4720199)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxx03552395d472d4a59362d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.249Z cpu35:4720199)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx8303553305d472d4a59724f": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.249Z cpu35:4720199)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.xxxxx38303553305d472d4a59724d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T19:57:14.250Z cpu7:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.xxxxxx303553305d472d4a597255" - issuing command 0x4136c7028cc0
2017-01-25T19:57:14.251Z cpu13:32967)WARNING: J3: 3297: Error committing txn callerID: 0xc1d0000f to slot 0: IO was aborted by VMFS via a virt-reset on the device
2017-01-25T19:57:14.251Z cpu39:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.xxxxxx03553305d472d4a59724d" is blocked. Not starting I/O from device.
2017-01-25T19:57:14.251Z cpu39:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.xxxxxx03553305d472d4a59724d" is blocked. Not starting I/O from device.
2017-01-25T19:57:14.251Z cpu39:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.xxxxx303553305d472d4a59724d" is blocked. Not starting I/O from device.
2017-01-25T19:57:14.251Z cpu7:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.xxxxx38303553305d472d4a597251" - issuing command 0x4136c6cf1e40
2017-01-25T19:57:14.252Z cpu33:32872)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.xxxx0038303553305d472d4a59724f" is blocked. Not starting I/O from device.
2017-01-25T19:57:14.252Z cpu33:32872)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.xxxx303553305d472d4a59724f" is blocked. Not starting I/O from device.
2017-01-25T19:57:14.257Z cpu0:xx37726)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.xxxxx303552395d472d4a593642" - issuing command 0x4136c3a24bc0
2017-01-25T19:57:14.259Z cpu7:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.xxxx038303553305d472d4a597253" - issuing command 0x412ec680d800
2017-01-25T19:57:14.272Z cpu15:xx37726)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.xxxx8303553305d472d4a59724d" - no more commands to retry
2017-01-25T19:57:14.281Z cpu7:33578)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.xxxx38303553305d472d4a59724f" - no more commands to retry
2017-01-25T19:57:14.290Z cpu7:xx37726)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.xxxxx38303552395d472d4a59362d" - issuing command 0x4136c7xx0700
2017-01-25T19:57:35.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:1 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T19:57:35.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000a TARGET: iqn.1992-08.com.netapp:sn.xxxxx60259 TPGT: 7d2 TSIH: 0]
2017-01-25T19:57:35.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:14645 R: 10.20.xxx.xx:3260]
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:0 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000009 TARGET: iqn.1992-08.com.netapp:sn.xxxx60259 TPGT: 7d0 TSIH: 0]
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:46757 R: 10.20.xxx.xx:3260]
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:2 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000007 TARGET: iqn.1992-08.com.netapp:sn.xxxxx60039 TPGT: 7d0 TSIH: 0]
2017-01-25T19:57:35.090Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:32662 R: 10.20.xxx.xx:3260]
2017-01-25T19:57:38.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:3 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T19:57:38.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000008 TARGET: iqn.1992-08.com.netapp:sn.xxxxx0039 TPGT: 7d2 TSIH: 0]
2017-01-25T19:57:38.089Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:26951 R: 10.20.xxx.61:3260]
2017-01-25T20:05:08.916Z cpu38:xx32879)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98xxxx3553305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:05:08.916Z cpu38:xx32879)WARNING: HBX: 1884: HB [HB state abcdef02 offset 3272704 gen 17 stampUS 1587231039834 uuid 5870cd22-8eb40f07-be37-8cdcd41207c8 jrnl <FB 1080637> drv 14.60] was aborted on vol 'nsata2', disk contents unknown
2017-01-25T20:05:08.916Z cpu33:xx32916)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000xxxx553305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T20:05:08.916Z cpu0:xx32888)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx305d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:05:08.916Z cpu33:xx32916)WARNING: HBX: 1884: HB [HB state abcdef02 offset 3272704 gen 17 stampUS 1587231039811 uuid 5870cd22-8eb40f07-be37-8cdcd41207c8 jrnl <FB 983689> drv 14.60] was aborted on vol 'nsata5', disk contents unknown
2017-01-25T20:05:08.916Z cpu0:xx32888)WARNING: HBX: 1884: HB [HB state abcdef02 offset 3272704 gen 17 stampUS 1587231039882 uuid 5870cd22-8eb40f07-be37-8cdcd41207c8 jrnl <FB 1281975> drv 14.60] was aborted on vol 'nsata4', disk contents unknown
2017-01-25T20:05:08.916Z cpu30:xx32870)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:05:08.916Z cpu35:xx37665)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830xxxxd472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:05:08.916Z cpu0:xx32888)WARNING: HBX: 1884: HB [HB state abcdef02 offset 3272704 gen 19 stampUS 1587231039894 uuid 5870cd22-8eb40f07-be37-8cdcd41207c8 jrnl <FB 418600> drv 14.60] was aborted on vol 'nsata1', disk contents unknown
2017-01-25T20:05:11.926Z cpu20:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383035xxxx2d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:05:11.926Z cpu20:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830355xxxxd4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:05:11.926Z cpu20:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383035xxxxd4a597253" state in doubt; requested fast path state update...
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:1 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000006 TARGET: iqn.1992-08.com.netapp:sn.53xxx039 TPGT: 7d1 TSIH: 0]
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.138:62632 R: 10.20.xxx.xxx:3260]
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:3 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d00000c TARGET: iqn.1992-08.com.netapp:sn.536xxx9 TPGT: 7d3 TSIH: 0]
2017-01-25T20:05:17.730Z cpu28:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.138:22554 R: 10.20.xxx.xxx:3260]
2017-01-25T20:05:18.069Z cpu20:xx39329)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830355330xxxx4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:05:18.916Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:3 : Task mgmt "Abort Task" with itt=0x34d4d (refITT=0x34d43) timed out.
2017-01-25T20:05:18.918Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:2 : Task mgmt "Abort Task" with itt=0x34d4e (refITT=0x34d42) timed out.
2017-01-25T20:05:18.918Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:1 : Task mgmt "Abort Task" with itt=0x34d4f (refITT=0x34d41) timed out.
2017-01-25T20:05:18.918Z cpu23:xx32882)WARNING: ScsiPath: 6323: Set retry timeout for failed TaskMgmt abort for CmdSN 0x25843f, status Failure, path vmhba41:C2:T0:L1
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:2 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d00000b TARGET: iqn.1992-08.com.netapp:sn.5xxx0259 TPGT: 7d1 TSIH: 0]
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xxx:28293 R: 10.20.xxx.xxx:3260]
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:2 : Task mgmt "Abort Task" with itt=0x34d52 (refITT=0x34d42) timed out.
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:3 : Task mgmt "Abort Task" with itt=0x34d51 (refITT=0x34d43) timed out.
2017-01-25T20:05:26.120Z cpu37:33704)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980xxx52395d472d4a59394e" state in doubt; requested fast path state update...
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:0 L:1 : Task mgmt "Abort Task" with itt=0x34d53 (refITT=0x34d41) timed out.
2017-01-25T20:05:26.120Z cpu21:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800038xxx2395d472d4a593642" state in doubt; requested fast path state update...
2017-01-25T20:05:26.120Z cpu37:33704)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxx2395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:0 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000005 TARGET: iqn.1992-08.com.netapp:sn.536xxx039 TPGT: 7d3 TSIH: 0]
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xxxx:61936 R: 10.20.xxx.xxx:3260]
2017-01-25T20:05:26.120Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:1 L:1 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x1e5996) timed out.
2017-01-25T20:05:26.120Z cpu21:32872)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx53305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:05:26.917Z cpu37:4718314)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830xxxx95d472d4a59394e" state in doubt; requested fast path state update...
2017-01-25T20:05:26.917Z cpu37:4718314)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800038xxx5d472d4a593642" state in doubt; requested fast path state update...
2017-01-25T20:05:26.917Z cpu37:4718314)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx395d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T20:05:27.915Z cpu37:43806)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383xxxxd472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:05:27.915Z cpu37:43806)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383xxxx5d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:05:27.915Z cpu37:43806)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800038xxxxx05d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T20:05:27.915Z cpu37:43806)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383xxxx05d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:05:27.921Z cpu21:4717670)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98xxxx3553305d472d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:05:36.124Z cpu21:4718864)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a98xxxx305d472d4a597255": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a98000383035xxxx59394e": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a980003830xxxxx2d4a593642": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a98000383xxxxxd472d4a59362d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a9800038xxxxx05d472d4a59724f": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a9800xxxxx5d472d4a597251": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu37:32858)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a980003830xxxd4a59724d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:05:36.125Z cpu11:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a9800038xxxxx72d4a59724f" - issuing command 0x4136c7c1de80
2017-01-25T20:05:36.125Z cpu28:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a980003830xxx72d4a597251" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.125Z cpu28:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000383xxxx72d4a597251" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.125Z cpu28:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000383xxxx472d4a597251" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.130Z cpu0:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a9800038xxx5d472d4a59362d" - issuing command 0x412ec81cdac0
2017-01-25T20:05:36.141Z cpu0:xx39432)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a980003830xxx72d4a597251" - no more commands to retry
2017-01-25T20:05:36.144Z cpu30:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000383035xxxxd4a59394e" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.146Z cpu1:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a98000383xxx472d4a59724d" - issuing command 0x412ec8e28e40
2017-01-25T20:05:36.147Z cpu7:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a980003830xxx5d472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.147Z cpu7:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a980003830xxx472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.147Z cpu7:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a980003830xxx472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.147Z cpu7:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a9800038xxxx95d472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.147Z cpu7:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a9800038xxxx472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:05:36.149Z cpu19:xx39432)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a98xxxx3553305d472d4a597255" - issuing command 0x4136c8ef4bc0
2017-01-25T20:05:36.162Z cpu1:33578)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a980003xxxxx5d472d4a59394e" - no more commands to retry
2017-01-25T20:05:36.168Z cpu19:xx39432)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a98000xxxxd472d4a593642" - no more commands to retry
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:3 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000c TARGET: iqn.1992-08.com.netapp:sn.5xxxx60259 TPGT: 7d3 TSIH: 0]
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xxx:35763 R: 10.20.xxx.xxxx:3260]
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:1 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000006 TARGET: iqn.1992-08.com.netapp:sn.53xxx0039 TPGT: 7d1 TSIH: 0]
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xxx:56266 R: 10.20.xxx.xxxx:3260]
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:2 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000b TARGET: iqn.1992-08.com.netapp:sn.536xxx259 TPGT: 7d1 TSIH: 0]
2017-01-25T20:06:17.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xxx:19458 R: 10.20.xxx.129:3260]
2017-01-25T20:06:20.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:0 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:06:20.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000005 TARGET: iqn.1992-08.com.netapp:sn.53xxx0039 TPGT: 7d3 TSIH: 0]
2017-01-25T20:06:20.085Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xxx:42984 R: 10.20.xxx.xxx:3260]
2017-01-25T20:08:35.911Z cpu24:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800038xxxxd472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:08:35.911Z cpu21:xx39350)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830xxxxd472d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:08:35.912Z cpu1:xx39321)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830xxxxd472d4a597253" state in doubt; requested fast path state update...
2017-01-25T20:08:35.912Z cpu21:xx39350)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003830xxxxx472d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:08:35.912Z cpu14:xx39362)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383xxxxx472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:08:36.533Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:3 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:08:36.533Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000008 TARGET: iqn.1992-08.com.netapp:sn.536xxx039 TPGT: 7d2 TSIH: 0]
2017-01-25T20:08:36.533Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:26951 R: 10.20.xxx.xx:3260]
2017-01-25T20:08:36.911Z cpu14:xx39362)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000xxx305d472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:08:36.912Z cpu14:xx39362)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx305d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:08:36.912Z cpu14:xx39362)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx3305d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T20:08:36.983Z cpu24:32872)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxx305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:08:45.911Z cpu21:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:2 : Task mgmt "Abort Task" with itt=0x30cf9 (refITT=0x30ced) timed out.
2017-01-25T20:08:45.911Z cpu20:xx37665)WARNING: ScsiPath: 6323: Set retry timeout for failed TaskMgmt abort for CmdSN 0xf5127, status Failure, path vmhba41:C0:T0:L2
2017-01-25T20:08:45.912Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:3 : Task mgmt "Abort Task" with itt=0x30cf8 (refITT=0x30cee) timed out.
2017-01-25T20:08:45.913Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:1 : Task mgmt "Abort Task" with itt=0x30cfa (refITT=0x30cec) timed out.
2017-01-25T20:08:49.662Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:1 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:08:49.662Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d00000a TARGET: iqn.1992-08.com.netapp:sn.53xxxx59 TPGT: 7d2 TSIH: 0]
2017-01-25T20:08:49.662Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:14645 R: 10.20.xxx.xx:3260]
2017-01-25T20:08:51.180Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:0 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:08:51.180Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000009 TARGET: iqn.1992-08.com.netapp:sn.5xxxx259 TPGT: 7d0 TSIH: 0]
2017-01-25T20:08:51.180Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:46757 R: 10.20.xxx.56:3260]
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:2 : Task mgmt "Abort Task" with itt=0x30cfe (refITT=0x30ced) timed out.
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:3 : Task mgmt "Abort Task" with itt=0x30cff (refITT=0x30cee) timed out.
2017-01-25T20:08:51.181Z cpu25:xx39324)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000xxxxxx2395d472d4a59394e" state in doubt; requested fast path state update...
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:0 T:0 L:1 : Task mgmt "Abort Task" with itt=0x30d00 (refITT=0x30cec) timed out.
2017-01-25T20:08:51.181Z cpu1:xx40028)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383xxxxx72d4a593642" state in doubt; requested fast path state update...
2017-01-25T20:08:51.181Z cpu21:xx39350)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800038xxxxx472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T20:08:51.181Z cpu8:xx40025)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxxx05d472d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:08:51.181Z cpu8:xx40025)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98000383035xxxxx7253" state in doubt; requested fast path state update...
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba41:CH:2 T:1 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000007 TARGET: iqn.1992-08.com.netapp:sn.53xxxx039 TPGT: 7d0 TSIH: 0]
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.20.xxx.xx:32662 R: 10.20.xxx.xxxx:3260]
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:1 L:1 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x37d27b) timed out.
2017-01-25T20:08:51.181Z cpu26:33702)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba41:CH:2 T:1 L:0 : Task mgmt "Abort Task" with itt=0x0 (refITT=0x37d281) timed out.
2017-01-25T20:08:51.181Z cpu5:32871)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800xxxxx72d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:08:51.918Z cpu5:33777)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980003xxxxx2d4a597255" state in doubt; requested fast path state update...
2017-01-25T20:08:51.922Z cpu20:4718317)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980xxxxx72d4a59394e" state in doubt; requested fast path state update...
2017-01-25T20:08:51.922Z cpu20:4718317)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a9800xxxxxd472d4a593642" state in doubt; requested fast path state update...
2017-01-25T20:08:51.922Z cpu20:4718317)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980xxxxxxx95d472d4a59362d" state in doubt; requested fast path state update...
2017-01-25T20:08:51.922Z cpu20:4718317)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98xxxxxx305d472d4a59724d" state in doubt; requested fast path state update...
2017-01-25T20:08:51.923Z cpu24:4717659)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980xxxxx305d472d4a597251" state in doubt; requested fast path state update...
2017-01-25T20:08:57.927Z cpu20:38816)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a980xxxxx2d4a59724f" state in doubt; requested fast path state update...
2017-01-25T20:08:57.927Z cpu20:38816)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.60a98xxxxxx5d472d4a597253" state in doubt; requested fast path state update...
2017-01-25T20:09:01.183Z cpu5:33411)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a980003xxxxx472d4a597255": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.188Z cpu20:49159)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a980003xxxxxx5d472d4a59394e": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.188Z cpu20:49159)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a98000xxxxxd472d4a593642": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.188Z cpu20:49159)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a980003xxxxxxd472d4a59362d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.188Z cpu20:49159)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a98000xxxxx5d472d4a59724f": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.189Z cpu20:49159)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60a9800xxxxx305d472d4a59724d": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2017-01-25T20:09:01.197Z cpu1:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a98xxxxx3305d472d4a597255" - issuing command 0x412ec9ae8200
2017-01-25T20:09:01.198Z cpu13:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a9800xxxxxd472d4a59724f" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.198Z cpu13:32871)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000xxxxxx2d4a59724f" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.207Z cpu24:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000xxxx472d4a59394e" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.207Z cpu24:32873)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a980xxxx395d472d4a59394e" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.211Z cpu1:33578)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a9xxxx52395d472d4a59394e" - no more commands to retry
2017-01-25T20:09:01.212Z cpu25:xx40061)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a98000xxx305d472d4a59724d" - issuing command 0x4136c2fb1c00
2017-01-25T20:09:01.213Z cpu25:32872)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a9800038xxxxd472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.213Z cpu25:32872)WARNING: NMP: nmp_DeviceStartLoop:723: NMP Device "naa.60a98000383xxxxxd472d4a593642" is blocked. Not starting I/O from device.
2017-01-25T20:09:01.220Z cpu1:33578)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a980003xxx5d472d4a59724f" - no more commands to retry
2017-01-25T20:09:01.226Z cpu25:xx40061)WARNING: NMP: nmpDeviceAttemptFailover:566: Retry world restore device "naa.60a98000383xxx472d4a593642" - no more commands to retry
2017-01-25T20:09:01.234Z cpu19:33578)WARNING: NMP: nmpDeviceAttemptFailover:603: Retry world failover device "naa.60a980003830355xxxxxd4a59362d" - issuing command 0x4136c4d5a140
2017-01-25T20:09:02.108Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:1 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:09:02.108Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d00000a TARGET: iqn.1992-08.com.netapp:sn.53xxx0259 TPGT: 7d2 TSIH: 0]
2017-01-25T20:09:02.108Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:25243 R: 10.20.xxx.xx:3260]
2017-01-25T20:09:02.109Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:3 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:09:02.109Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000008 TARGET: iqn.1992-08.com.netapp:sn.53xx60039 TPGT: 7d2 TSIH: 0]
2017-01-25T20:09:02.109Z cpu20:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:28360 R: 10.20.xxx.xx:3260]
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:2 T:1 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000007 TARGET: iqn.1992-08.com.netapp:sn.536960039 TPGT: 7d0 TSIH: 0]
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:40959 R: 10.20.xxx.xx:3260]
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba41:CH:0 T:0 CN:0: iSCSI connection is being marked "ONLINE"
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000009 TARGET: iqn.1992-08.com.netapp:sn.53xxx60259 TPGT: 7d0 TSIH: 0]
2017-01-25T20:09:05.084Z cpu34:33702)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.20.xxx.xx:xx336 R: 10.20.xxx.xxx:3260]

ich hoffe Ihr habt eine Idee, was es sein könnte... DANKE