Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Konnektivitätsprobleme zum Datastore?

Alles zum Thema vSphere 6.7, ESXi 6.7 und vCenter Server.

Moderatoren: irix, continuum, Dayworker

Member
Beiträge: 47
Registriert: 22.11.2016, 18:40

Konnektivitätsprobleme zum Datastore?

Beitragvon vmware-admin2016 » 23.06.2020, 14:18

Hallo,

Hilfe - der ganze Esxi 6.7 (ist sehr langsam - alle können nicht richtig arbeiten) (Logical Drive 01 - Status Degraded (rebuilding)
Unter überwachen / Ereignisse ist diese Meldung auffälligerweise zu sehen:

Warnung:
Der Zugriff auf Volume 5c38727b-fxxxxxxx8-c97a-5xxxxxxxxxx4 (Datastore) wurde nach Konnektivitätsproblemen wiederhergestellt.
ca. 10-20 Sekunden später:
Wegen Konnektivitätsproblemen kann nicht mehr auf Volume c38727b-fxxxxxxx8-c97a-5xxxxxxxxxx4 (Datastore) zugegriffen werden. Es wird versucht, eine Wiederherstellung durchzuführen. Das Ergebnis liegt demnächst vor.

System:
HPE- ESXi-6.7.0-Update1-iso-Gen9plus-670.U1.10.3.5.12 auf 30 GB HPE SD Karte
DL380 Gen10 (älterer FIrmware-Stand, ca. 2018/2019)
8x 1.2 TB SAS 10k mit RAID 6 (mit spare) (eine leuchtet rot oder orange)

Im ILO Log steht von gestern Abend steht dies: (wobei der o.g. Vmware Warnung auch tagsüber schon gewesen ist)

Slot 0 Smart Array - Logical drive status changed to recovering
Smart Array - Drive is failed Port 1l Box3 Bay 4

HPE Support hat die Logs geprüft und konnte ausser HDD Error kein Hardware defekt feststellen.
Ein zweites Datastore zur NAS ist zwar auch angebunden, aber um das geht es glaube ich nicht.
Wie der Raid Rebuild Status ist sieht man meines Wissens nur beim Serverneustart in den HPE Tools.

Ist das System wegen dem Raid Rebuild langsam?

King of the Hill
Beiträge: 12189
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon irix » 23.06.2020, 16:34

Laeuft denn wirklich schon der Rebuild oder ist eine Platte gerade am sterben? Letzteres ist eigentlich mit das Schlimmste, weil der Controller da immer noch versucht zu lesen und einen Retry nach dem anderen versucht. Wenn die HDD von jetzt auf gleich einfach tot umfaellt dann kann eine Hotware einspringen und der Rebuild beginnt.

Hat dein System ueberhaupt eine Hostspare?

Im Controller kannst du normalerweise sagen wie die Rebuild Prio sein soll da das evtl. mehr Performance raus kommt fuer das normale arbeiten und dann um 17:00 dreht man die Rebuildrate wieder hoch.

Du hast auf jeden Fall ein reines HW Problem und ist der Thread hier eigentlich zuende.

Gruss
Joerg

King of the Hill
Beiträge: 13000
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon Dayworker » 23.06.2020, 16:34

Das Raid wurde nach einem Laufwerksproblem herabgestuft und befindet sich im Wiederherstellungsmodus. Je nach Controller kann man da die Rebuild-Priorität gegenüber normalen Zugriffen einstellen. In jedem Fall muß dir klar sein, daß ein Rebuild auch ohne normale Zugriffe die Platten bis an die Belastungsgrenze bringt. Fällt während des Rebuild noch ein weiteres Raidmitglied aus, bist du auf ein hoffentlich aktuelles Backup angewiesen.

Über welches Raid-Level reden wir hier überhaupt?
Hoffentlich kein Raid5. In dem Fall würde ich das Rebuild abbrechen und vom gesamten Volume noch ein letztes Backup ziehen, bevor ich die fehlerhafte Platte austausche, das Raid neu aufsetze und das Backup zurückspiele. Je nach DS-Grösse müßte man sowieso mal durchrechnen, wielange ein Rebuild dauern würde. Unter Umständen ist man mit reinem Kopieren schneller, als ein für die Platen wesentlich stapaziöseres Rebuild durchlaufen zu lassen.

King of the Hill
Beiträge: 12189
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon irix » 23.06.2020, 16:50

Er hat von einem RAID6 + HS geschrieben.

Aber wiegesagt... guck in die ILO und arbeite mit dem HP Server. Das was der ESXi da ueber die CIM Provider an HW Infos anzeigt das kann man zur Kenntnis nehmen aber sich nicht drauf verlassen.

Die ILO sollte ja auch den Fortschrittslevel ausgeben koennen.

Gruss
Joerg

Member
Beiträge: 47
Registriert: 22.11.2016, 18:40

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon vmware-admin2016 » 23.06.2020, 19:43

Hallo,

der u.g. HPE Smart Array Bug / Know Issue von März/April 2020 ist es nicht. Die vorhandene HPE Firmware ist älter.

Firmware-Update HPE Smart Array SR Gen10 Controller (4.2020)
https://www.borncity.com/blog/2020/05/0 ... er-4-2020/
https://support.hpe.com/hpesc/public/do ... 97210de_de


Ja vielen Dank! Rebuild Prio wird vorsichtig geprüft.

%-Balken-Fortschrittslevel ist im ILO 5 leider nicht zu sehen.
Email Alert ist aktiviert - glaube ILO sendet dazu keine Mail (nach Rebuid)

King of the Hill
Beiträge: 13000
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon Dayworker » 23.06.2020, 20:19

Stimmt Raid6 hatte er geschrieben, hab ich überlesen. Ändert aber nix daran, daß ich den Laufwerken den Streß eines Raid5/Raid6-Rebuilds nicht unbedingt zumuten würde.

Wie "irix" schon schrieb, gibt es nichts schlimmeres, als eine wankelmütige Platte. Ich würde diese Platte daher rausnehmen und aus alterungsgründen den Hotspare übernehmen lassen. Dann haben wenigstens alle Platten einen Abnutzungsgrad.

Hast du einen Hotspare verbaut?
Hast du mal nachgeschaut, wieviel Daten im DS sind?

King of the Hill
Beiträge: 12189
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon irix » 23.06.2020, 20:27

Er hat eine Spare.... und er hat 10k SAS und nicht 10TB SATA. Disks gehen halt immer mal kaputt und somit ist aus meiner Sicht erst mal alles richtig. Wenn du wissen willst warum es so langsam ist einfach mal ein esxtop aufmachen und die die Disklatency angucken.

Gruss
Joerg

Member
Beiträge: 47
Registriert: 22.11.2016, 18:40

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon vmware-admin2016 » 23.06.2020, 20:51

Dayworker hat geschrieben:Stimmt Raid6 hatte er geschrieben, hab ich überlesen. Ändert aber nix daran, daß ich den Laufwerken den Streß eines Raid5/Raid6-Rebuilds nicht unbedingt zumuten würde.

Wie "irix" schon schrieb, gibt es nichts schlimmeres, als eine wankelmütige Platte. Ich würde diese Platte daher rausnehmen und aus alterungsgründen den Hotspare übernehmen lassen. Dann haben wenigstens alle Platten einen Abnutzungsgrad.

Hast du einen Hotspare verbaut?
Hast du mal nachgeschaut, wieviel Daten im DS sind?


Status im ILO :
Platte 4 rot "FAILED"
Platte 8 drive configuration "spare"
Logical Drive 01 - Status Degraded (rebuilding

Morgen kommt die Ersatzplatte für Slot 4

Datastore hat 4 TB belegt von ca. 5.5 TB

Member
Beiträge: 47
Registriert: 22.11.2016, 18:40

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon vmware-admin2016 » 23.06.2020, 20:54

Dayworker hat geschrieben:Stimmt Raid6 hatte er geschrieben, hab ich überlesen. Ändert aber nix daran, daß ich den Laufwerken den Streß eines Raid5/Raid6-Rebuilds nicht unbedingt zumuten würde.

Wie "irix" schon schrieb, gibt es nichts schlimmeres, als eine wankelmütige Platte. Ich würde diese Platte daher rausnehmen und aus alterungsgründen den Hotspare übernehmen lassen. Dann haben wenigstens alle Platten einen Abnutzungsgrad.


anschließend an solche Stresstests könnte HPE gefragt werden ob die Plattenfehler frei sind - ich weiß nur gerade nicht ob ein ILO AHS Log dafür ausreicht

King of the Hill
Beiträge: 12189
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon irix » 23.06.2020, 20:58

Einfach beim Support anrufen... die sagen einem schon was man machen soll um die Kontrollerlogs zu exportieren. Ich kann nur fuer iDRAC/PERC und Dell sprechen.... das ist das einzige was hier immer kaputt geht. Liegt aber daran das wir nichts anderes haben.

Gruss
Joerg

King of the Hill
Beiträge: 13000
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon Dayworker » 24.06.2020, 10:26

vmware-admin2016 hat geschrieben:anschließend an solche Stresstests könnte HPE gefragt werden ob die Plattenfehler frei sind - ich weiß nur gerade nicht ob ein ILO AHS Log dafür ausreicht
Ich meinte damit keine weiteren Streßtests abseits eines laufenden Rebuilds. Falls es dich interessiert, schau dir mal die Funktionsweise von Raid 5 bei Wikipedia und in deinem Fall Raid 6 beim Schreiben an.

Member
Beiträge: 47
Registriert: 22.11.2016, 18:40

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon vmware-admin2016 » 25.06.2020, 19:17

Hallo,

ein Ersatzserver und eine Veeam-Rücksicherung 2-3 Tage zurück hat das Problem "vorerst" gelöst.

Ihr hattet recht, es ist Ärger mit HPE Hardware oder Firmware.

Auf Grund alter Firmware weiß ich nicht ob den aktuellen ILO Meldungen zu glauben ist. (Raid degraded, kein Rebuild am laufen, obwohl eine Spare im Raid 6)

Server neustarten und den HPE Tools + neues AHS Log übermitteln an HPE war noch nicht.

King of the Hill
Beiträge: 13000
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Konnektivitätsprobleme zum Datastore?

Beitragvon Dayworker » 25.06.2020, 20:36

Das HPE-Dokument ist da ja schon sehr ausführlich, allerdings gehts darin um Inkonsistenzen. Bei dir spielt jedoch eine Platte flipflop und sorgt dadurch für Probleme. Mit einer ausgefallenen Platte ist jedes Raid erstmal herabgestuft/degraded, bis entweder ein HS einspringt oder die fehlerhafte Platte gewechselt und die Konsistenz wieder hergestellt wurde. Den iLO-Meldungen kannst du also Glauben schenken.


Zurück zu „vSphere 6.7“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast