Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

ESXi 5.5 U2 - HP D2600 48TB - Wegen Konnektivitätsproblemen

Moderatoren: irix, Dayworker

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

ESXi 5.5 U2 - HP D2600 48TB - Wegen Konnektivitätsproblemen

Beitragvon tinorichter » 04.03.2015, 13:59

Hallo,
aller 5 Minuten bekomme ich unten stehenden Fehler.
Konfiguration:
DL380G7, HP D2600 mit 12x4TBHDD an P411 über SAS angeschlossen. RAID5 + 1Hotspare
Den Speicher konnte ich komplett 36TB hinzufügen, keine errors, erst wenn ich den Speicher der virtuellen Maschine W2012R2 hinzufüge, bekomme ich den Fehler. Auch wenn noch keine IO Last da ist.
Vielen Dank im Vorraus

Tino

Fehler:

Wegen Konnektivitätsproblemen kann nicht mehr
auf Volume
54ec7b0b-6f82e79b-cb04-00215ad323e2 (D2600)
zugegriffen werden. Es wird versucht, eine
Wiederherstellung durchzuführen. Das Ergebnis
liegt demnächst vor.
Info
04.03.2015 13:47:00
D2600
--------
Der Zugriff auf Volume 54ec7b0b-6f82e79b-cb04-
00215ad323e2 (D2600) wurde nach
Konnektivitätsproblemen wiederhergestellt.
Info
04.03.2015 13:47:00
esx....
-----------

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 04.03.2015, 14:47

Sarten deinen Client mail so:

Ausführen:
"C:\Program Files (x86)\VMware\Infrastructure\Virtual Infrastructure Client\Launcher\VpxClient.exe -locale en_US"

und poste dann die FM.

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 04.03.2015, 15:01

in English:
Lost access to volume 54ec7b0b-6f82e79b-cb04-
00215ad323e2 (D2600) due to connectivity
issues. Recovery attempt is in progress and
outcome will be reported shortly.
info
04.03.2015 14:57:08
D2600
-----------
Successfully restored access to volume 54ec7b0b-
6f82e79b-cb04-00215ad323e2 (D2600) following
connectivity issues.
info
04.03.2015 14:57:08
esx....

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Beitragvon ~thc » 04.03.2015, 15:31

Sind das Consumer-Grade (Desktop) Platten?

Member
Beiträge: 22
Registriert: 27.09.2013, 12:35

Beitragvon PBecker » 04.03.2015, 15:38

Ich würde mal die Firmwarestände prüfen.
Passthrough macht ihr nicht?

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 04.03.2015, 15:50

Es sind alles original HP Server, Controller, Platten (SAS MDL 4TB). Die Firmware hatte ich auch aktuallisiert (Proliant SPP2014020) Kein Passtrough.
Ich habe die gleiche Konfiguration mit einer MSA60 laufen 24TB (SATA 2TB) da gibt es das Problem nicht. Habe das Gefühl das VMware Probleme mit grösseren Platten / Disks hat.

Member
Beiträge: 22
Registriert: 27.09.2013, 12:35

Beitragvon PBecker » 04.03.2015, 17:21

Was ist speziell mit dem P411?

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 04.03.2015, 21:41

Den hpsa version 5.5.0.60 hast du aber installiert oder? Ich gehe davon aus das es 4k Platten sind und da kommt die Frage auf ob der Controller dies gut maskiert weil


Support statement for 512e and 4K Native drives for VMware vSphere and VSAN (2091600)
http://kb.vmware.com/kb/2091600

Ich wuerde mal ins vmkernel.log/hostd.log gucken ansonsten nen Supportbundle erstellen und beim VMware Support abkippen.

Gruss
Joerg

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 05.03.2015, 09:01

Wo kann ich die hpsa Version abfragen?
Im System VMkernel log finde einiges - 1843Failed, Driver hpsa, for vmhba2 (P411 mit D2600)
Diesen Treiber error finde ich auf dem anderen Host mit P411(= vmhba2) Controller nicht. Werde mal den Server neu starten und den bootvorgang beobachten

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 05.03.2015, 13:51

Hier die FW Version:
hpsa1: HP Smart Array P411 Controller
Board ID: 0x3247103c
Firmware Version: 6.00
Driver Version: HP HPSA Driver (v 5.5.0.74-1OEM)
Driver Build: 01
IRQ: 58
VMkernel device name: vmhba2

Der Neustart brauchte am Anfang kein Error - erst als ich die VM startete in der die 36TB Disk eingebunden ist, triet der Fehler wieder im 5 Minuten Rhytmus auf

Member
Beiträge: 22
Registriert: 27.09.2013, 12:35

Beitragvon PBecker » 05.03.2015, 13:58

> Version 6.40(B) added support for VMware vSphere 5.5.

Prüf mal die ReleaseNotes.

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 05.03.2015, 14:16

Aktuelle Version 6.6?
http://h20564.www2.hp.com/hpsc/swd/publ ... nvOid=4166

und vielleicht gibts für die SAS Platten ja auch noch ein Update?
http://h20564.www2.hp.com/hpsc/swd/publ ... nvOid=4166

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 05.03.2015, 15:49

Aktuelle FW 6.60 ist jetzt installiert - leider ohne Erfolg gleicher Fehler. Weis nicht, ob ein löschen der Disk, Raid und ein neus Erstellen etwas bringen würde. Hatte ich vorher schon in jeder Ebene getestet, Raid - mehrere logische Drives, verschiedene Grössen, das Gleiche in VMware - brachte nichts! :? Raid Controller Diags brachten keine Erros!

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 05.03.2015, 15:51

Dann mach einen Fall beim HP/VMware Support auf. Alles andere ist ab jetzt Zeitverschwendung.

Gruss
Joerg

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 12.03.2015, 14:47

Mittlerweile wurde durch HP der Controller mit Cache Modul und das IO Modul von der D2600 ausgetauscht. FW ist auf den letzten Stand. Sobald ich die VM starte, bekomme ich wieder die gleichen Fehler. Hat noch jemand eine Idee?

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: ESXi 5.5 U2 - HP D2600 48TB - Wegen Konnektivitätsproble

Beitragvon ~thc » 12.03.2015, 14:59

tinorichter hat geschrieben:Den Speicher konnte ich komplett 36TB hinzufügen, keine errors, erst wenn ich den Speicher der virtuellen Maschine W2012R2 hinzufüge...

Kannst du mal genau beschreiben, was das bedeutet? Die Storage wurde als VMFS-Volume zum ESXi hinzugefügt? Und dann wie der VM?

Member
Beiträge: 12
Registriert: 04.03.2015, 13:08

Beitragvon tinorichter » 12.03.2015, 15:32

über die VMware Web Console habe ich die 36TB über add Storage als VMFS 5.60 Volume hinzugefügt. Danach habe ich die settings der virtuellen Maschine bearbeitet und eine Hard Disk hinzugefügt, die fast die kompletten 36TB zugeordnet bekamm. Wenn ich jetzt die VM starte, become ich den Fehler. In der VM (W2k12R2) im Event log sehe ich ab und zu auch Time out Probleme vom DFSR. z.B

DFSRs (1224) \\.\E:\System Volume Information\DFSR\database_A070_59AC_7059_8A44\dfsr.db: A request to write to the file "\\.\E:\System Volume Information\DFSR\database_A070_59AC_7059_8A44\fsr.log" at offset 1314816 (0x0000000000141000) for 4096 (0x00001000) bytes succeeded, but took an abnormally long time (18 seconds) to be serviced by the OS. This problem is likely due to faulty hardware. Please contact your hardware vendor for further assistance diagnosing the problem.

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Beitragvon ~thc » 12.03.2015, 16:59

Das ist wenigstens konsequent, dass die Storage-Timeouts auch im OS der VM ankommen. Wenn diese Storage ESXi 5.5 kompatibel ist, verstehe ich den Fehler nicht. Welchen Stand hat denn dein ESXi - ist vielleicht der Treiber zu alt?

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 12.03.2015, 18:44

Was sagt denn HP zu diesem weiterhin bestehenden Problem?
In meinen Augen hat der HW-Tausch genau Null gebracht und entweder hat der Controller ein Problem mit dem Plattengehäuse oder dieses ein Problem mit den SAS-Platten und die Verbindung zwischen beiden könnte je nach Kabellänge auch noch zum Problem beitragen.


Kannst du den Fehler eingrenzen, indem du die vDISK-Grösse variierst?

Profi
Beiträge: 535
Registriert: 04.01.2006, 12:06
Wohnort: Hamm

Beitragvon ostekl1 » 15.03.2015, 14:23

Wir haben den Fehler auch auf allen HP G7 Servern (DL 360 / 380) - und das sind einige.
Daher betreiben wir im Moment maximal 5.5 U1 auf den Blechen - sonst wird es noch schlimmer, teils bis zum PSOD.
Vor ca. 8 - 10 Wochen hat mein Kollege eine Anfrage an HP zu diesem Thema geschickt.
Der Fehler ist wohl dort (bei VMware natürlich auch) bekannt und soll mit dem nächsten Release der HP-ASM Treiber behoben werden.
Das sollte schon längst geschehen sein - ist aber bisher noch nichts passiert.

Wir sind daher ziemlich sauer auf HP. Die letzten und auch nächsten Server kamen / kommen daher von Dell.

Die HPs legen sich damit echt bei vielen Kunden die Karten !
Seit etwa ESXi 5.5 ist HP ziemlich schlampig mit ihren Treibern. Der Hammer war echt, als wir die ersten Gen8 Server eingesetzt haben, liefen die ohne FW update vom HP OEM ISO Image direkt in den PSOD ...

Gruß
Klaus

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 15.03.2015, 18:08

Klingt nicht gut, aber den HW-Hersteller wechseln würde ich trotzdem nicht unbedingt. Sowas kann dir auch mit anderen Herstellern jederzeit oder auch immer mal wieder passieren.
Vermutlich ist HP momentan auch eher mit vSphere6 beschäftigt...



OT:
Ausgehend von bekannten Netzwerk-Bugs bei Win2k12-ohneR2 oder die Freigabegeschichte unter Office2k10 mit eingespielten Servicepacks und jeweils auf aktuellem Update-Stand würde ich auch nicht unbedingt mit einer wirklichen Lösung rechnen. Denn die skizzierten Bugs sind sowohl bei Win2k12-R2 als auch Office2k13/365 sprich den kostenpflichtigen Nachfolgern behoben worden. Das hilft zumindest uns kein Stück weiter, da wir seit Jahren von unserem HW-Lieferanten zwecks IT-Homogenität für die Desktop-Benutzer weiterhin mit Win7 und Office2010 ausgestattet werden. Winzigweich mag dafür jedoch keinen Patch mehr herausbringen und sitzt das Problem in unseren Augen einfach mit Hinweis auf die Problemlösung beim Nachfolger aus.

Profi
Beiträge: 993
Registriert: 31.03.2008, 17:26
Wohnort: Einzugsbereich des FC Schalke 04
Kontaktdaten:

Beitragvon kastlr » 15.03.2015, 22:43

Hallo zusammen,

anbei der Link zum aktuellem HP VMware FW and Software Recipe Dokument.
Zwar enthält es den von euch verwendeten Server DL380G7 noch nicht, jedoch solltet Ihr (mindestens) die für den DL380G6 empfohlenen Treiber verwenden.
Beim DL380G7 BIOS/Firmware/usw. würde ich die aktuellste Version von der HP Webseite verwenden.
Die aktuelle Firmware für den verwendeten P411 Smart Array Controller setzt ihr ja schon ein.

Bei der Verwendung der VMware NMP Fixed prüft der ESXi Server alle 300 Sekunden die Qualität der vorhandenen Pfade.
Ihr könnt den dafür verwendeten Parameter Disk.PathEvalTime ja mal ändern, dann habt Ihr die Gewissheit, ob diese Aktivität für die Fehlermeldungen verantwortlich ist.
Advanced VMkernel Settings for Disk Storage

Allerdings muß das nicht unbedingt bedeuten, dass ein generelles Problem beim Zugriff auf das SCSI Device besteht, denn ESXi Server führen zusätzlich alle drei Sekunden auch einen VMFS Heartbeat Check durch.
Host Connectivity Degraded in ESX/ESXi

Da der P411 nur über einen Pfad zu dem SCSI Device verfügt müßtet ihr diese Meldungen eigentlich viel häufiger erhalten.

Sollte meine Vermutung mit dem Disk.PathEvalTime Parameter zutreffen, dann sieht es für mich so aus als wenn eure Umgebung Probleme mit dem TUR Kommando hat.
Eventuell bringt es ja auch etwas, den P411 Adapter mal in einem anderem PCI Slot zu verwenden.

Zumindest hatte ich mal einen ähnlichen Fall mit IBM Blades, da hat das Umstecken der Blades innerhalb des BladeCenters die Probleme behoben.

Eigentlich solltet Ihr auch SCSI Fehlermeldungen im vmkernel.log File finden, ihr könnt ja mal nach H:0x suchen und; falls vorhanden, hier posten.
Und falls Ihr mal Last auf der VM und ihrer vmdk erzeugt, wie sehen denn da die esxtop Werte für die Latenz aus?

Viel Erfolg,
Ralf

Member
Beiträge: 2
Registriert: 03.04.2015, 20:05
Wohnort: Rheda-Wiedenbrück

Beitragvon TheULi » 03.04.2015, 21:17

@Dayworker: Kannst du die Netzwerks-Bug von Win2k12-ohneR2 mal etwas genauer erläutern.

Ich habe auch einen DL380G7 und leider auch diese Konnektivitätsprobleme mit ESXi 5.5U2 und 6.0. Allerdings hängt mein Datastore direkt an dem P410i mit 7x 300GB 10k SAS Platten. Die Fehlermeldung bekomme ich ca. alle 20 Minuten. Zu diesen Zeiten zeigt das Leistungsdiagramm (Datenspeicher) eine Latenz für Schreibvorgänge von bis zu 2000ms. Man sieht also deutlich diese Peaks, obwohl keine VM gestartet ist. Es läuft nur der Host.

BIOS: P67
FW P410i : 6.60


Code: Alles auswählen

2015-04-03T18:57:50.767Z cpu23:32922)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x12 (0x43a5c0475600, 0) to dev "naa.600508b1001cad8b46548c79b14510ed" on path "vmhba1:C0:T0:L1" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0. Act:NONE
2015-04-03T18:58:06.030Z cpu1:33124)WARNING: LinScsi: SCSILinuxAbortCommands:1837: Failed, Driver hpsa, for vmhba1
2015-04-03T18:58:07.028Z cpu16:32842)WARNING: LinScsi: SCSILinuxAbortCommands:1837: Failed, Driver hpsa, for vmhba1
2015-04-03T18:58:07.334Z cpu12:32842)HBX: 276: 'datastore0': HB at offset 3630080 - Reclaimed heartbeat [Timeout]:
2015-04-03T18:58:07.334Z cpu12:32842)  [HB state abcdef02 offset 3630080 gen 1 stampUS 3616576102 uuid 551ed4b7-340af3f8-9421-b499babd1d9e jrnl <FB 816600> drv 14.61 lockImpl 3]
2015-04-03T18:58:25.066Z cpu10:32817)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x9e (0x439dc0464e40, 0) to dev "mpx.vmhba32:C0:T0:L0" on path "vmhba32:C0:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2015-04-03T18:58:25.084Z cpu7:33105)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x85 (0x439dc0464e40, 34461) to dev "naa.600508b1001cad8b46548c79b14510ed" on path "vmhba1:C0:T0:L1" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2015-04-03T18:58:25.094Z cpu7:33105)ScsiDeviceIO: 2646: Cmd(0x439dc0464e40) 0x4d, CmdSN 0xc from world 34461 to dev "naa.600508b1001cad8b46548c79b14510ed" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2015-04-03T18:58:25.095Z cpu7:33105)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x1a (0x439dc0464e40, 34461) to dev "naa.600508b1001cad8b46548c79b14510ed" on path "vmhba1:C0:T0:L1" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0. Act:NONE
2015-04-03T18:58:25.095Z cpu7:33105)ScsiDeviceIO: 2646: Cmd(0x439dc0464e40) 0x1a, CmdSN 0xd from world 34461 to dev "naa.600508b1001cad8b46548c79b14510ed" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2015-04-03T18:58:25.106Z cpu7:33105)NMP: nmp_ThrottleLogForDevice:3178: Cmd 0x85 (0x439dc0464e40, 34461) to dev "naa.600508b1001cad8b46548c79b14510ed" on path "vmhba1:C0:T0:L1" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2015-04-03T18:59:20.762Z cpu6:33313)NMP: nmp_ResetDeviceLogThrottling:3345: last error status from device mpx.vmhba32:C0:T0:L0 repeated 1 times
2

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 03.04.2015, 22:46

Da ich 2012 nicht einsetze, kann ich dir die Probleme so leider nicht näher erläutern und ohne passende Suchworte finde ich die Seite leider auch nicht mehr. Meiner grauen Erinnerung nach war es aber irgendwas mit Netzwerkerkennung oder -freigabe, die irgendwie verloren ging. Ich bekomms aber echt nicht mehr zusammen.

Profi
Beiträge: 993
Registriert: 31.03.2008, 17:26
Wohnort: Einzugsbereich des FC Schalke 04
Kontaktdaten:

Beitragvon kastlr » 04.04.2015, 12:05

Hallo,

in deinem vmkernel.log finden sich einige ungewöhnliche SCSI Fehlermeldungen.

So produzieren laut deinen Log Snippet folgende SCSI Befehle Fehler.

Code: Alles auswählen

*   0x12  =>  Inquiry,                    Fehler Meldung: Invalid Field in CDB (Command Descriptor Block)
*   0x1a  =>  Mode Sense,                 Fehler Meldung: Invalid Field in CDB (Command Descriptor Block)
*   0x4d  =>  Log Sense,                  Fehler Meldung: Invalid Command Operation Code
*   0x85  =>  ATA Pass Trough,            Fehler Meldung: Invalid Command Operation Code
*   0x9e  =>  Service Action In,          Fehler Meldung: Invalid Command Operation Code

Solche SCSI Befehle werden nicht aus einer VM abgesetzt.
Vermutlich verwendest du irgendwelche CIM Provider oder HP Agent Software für ESXi, die auch den Storage auslesen wollen.

Es könnte sich aber auch um folgende bereits bekannte Probleme handeln.
ESXi/ESX 4.1/5.x hpsa driver reports IllegalRequest messages in the VMkernel log

Ich teile allerdings die Ansicht von VMware nicht, das so eine Meldung "safely ignored" werden kann.
Schließlich muß sich der Adapter um dieses Kommando kümmern und das erfordert neben Zeit auch den Einsatz von Resourcen.
Wenn man doch weiss dass ein solches Kommando nicht unterstützt wird, warum setzt man dann eines ab?

Gruß,
Ralf


Zurück zu „vSphere 5.5 / ESXi 5.5“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 10 Gäste