P410 Predictive Failure / Currently Recovering ?

[Tomsn]

Hi Leute,
ich habe einen Notfall: Unser Server (HP Proliant ML330 G6) hat heute plötzlich zu mucken angefangen. Ich habe am P410 ein Raid5 mit 4 250GB Platten. Auf dem Raid laufen zwei Server, ein SVS2011 und ein Standard Server 2008r2
Ich habe heute um ca 10:00 Uhr einen Anruf bekommen dass kein Internet/Mail/Daten mehr da sind. Am Vsphere Client wollte ich dann die Server neu starten, beim Status hat man dann gesehen dass sie bei 95% stehen bleiben und nix mehr rührte sich. Im Systemstatus hab ich dann beim Speicher diesen Alarm gesehen und bin mal ziemlich erschrocken.
Beim klick auf die Konsole ging dann der ganze Vsphare Client nicht mehr. Ich habe auch dann den Server vor Ort heruntergefahren und wieder neu gestartet, ob das eine gute Idee war weiß ich nicht

Meine Frage nun: bedeutet das dass der Raid Kontroller einen Rebuild laufen hat? und warum kann ich nicht die Server starten? Raid5 bedeutet doch dass das System rennt obwohl eine Platte (bald) defekt ist? Wie lange dauert so ein rebuild?

muß ich mir sorgen machen????

[Dayworker]

Wenn der Raid-Controller ein Rebuild angestossen hat, versucht er das vorhandene Raid-Level zu restaurieren. Das kann gut gehen, wenn eine Platte nur einen Hickup hatte und nach dem Reboot wieder startet. Ich würde mir aber das Raid-Log genau ansehen, welcher Fehler dort gelistet wird. Da beim Raid5-Rebuild von allen Platten reium gelesen und die Parität nach deren Berechnung wieder geschrieben wird, erzeugt das eine höhere Plattenaktivität als normal und kann in einem weiteren Ausfall münden. In diesem Fall sind alle Daten verloren und du solltest ein aktuelles Backup haben.

Wie lange ein Rebuild dauert, hängt zum einen von den einzelnen Raidmitgliedern hinsichtlich Speicherplatz und Geschwindigkeit und zum anderen davon ab, ob du in deinem Raidcontroller den Write-Cache aktiviert hast.

Ich würde daher nur ein Backup ziehen und die VM auf einem anderen ESXi-Server ausführen, bis entweder das Raidrebuild erfolgreich durchgelaufen ist oder du die nötigen Ersatzplatten beschafft hast.

[Tomsn]

Hi Dayworker
Danke für deine Unterstützung, das Recovering rennt immer noch, was ist eigentlich der Unterschied vom Recovern zum Rebuilden?
Backup habe ich (läuft täglich in der Nacht) nur die VMs kann ich nicht runterziehen da ich nicht auf den Datenspeicher zugreifen kann, wenn ich auf Datenspeicher durchsuchen gehe dann steht da im Fenster "Datenspeicher wird durchsucht ..........." die Punkte werden dann immer mehr aber sonst passiert nix.
Komisch ist, wenn ich die Leistung von den Festplatten und vom Datenspeicher ansehe dann sehe ich da quasi keine Aktivität?
Ich werde heute auf einer anderen Maschine ein Backup wieder herstellen...

LG T

[echt_weg]

Komisch ist, wenn ich die Leistung von den Festplatten und vom Datenspeicher ansehe dann sehe ich da quasi keine Aktivität?

Die Aktivität kommt ja auch vom Controller selbst und nicht vom Host - daher sieht der ESXi davon nichts nichts

[UrsDerBär]

Fürs nächste mal: Bei einigermassen aktuellen LSI-Controller mit entsprechendem Firmwarestand und VIB Paket auf dem ESXi kann man mit einer VM via ESXi direkt auf den Controller zugreifen. Da weiss man immerhin was abgeht und kann ihn steuern ohne dass man einen Reboot machen muss.

Ansonsten: Das hört sich nicht so super an. Gerade bei VMFS hätte ich schon etwas Kopfschmerzen wenn Du keinen aktuelle Backup hast. Aber schau mal was sich ergibt.

[irix]

Wenn der ESXi aktuell eh nicht benutztbar ist wuerde ich mal Rebooten und das ACU booten. Da sollte man genau sehen was gerade passiert. Ansonsten auf einen warten der sich mit HP besser auskennt.

Gruss
Joerg

[visionmaster2012]

hmm.. zu 99% steht der controller auf background restore... stell den mal auf voreground restore, dann stellt der controller auch das lauferk bereit....

[Dayworker]

Wenn der Controller zu 99% auf Background gesetzt ist, läuft das Rebuild im Hintergrund ab, behindert sämtliche IO-Anforderungen, aber das Raid-Volume ist zumindest ansprechbar. Wenn das Rebuild eine höhere Priorität hat, kümmert sich der Controller nur darum und der Rest fällt hinten runter. Sprich alles dauert Stunden.

Falls der Controller ein Rebuild angestossen hat, würde ich den Controller im Leerlauf rödeln lassen und sämtliche weiteren Aktivitäten einstellen. Das Raid5-Rebuild ist für die Platten schon anstrengend genug und wenn alle Platten dasselbe Produktionsdatum haben, fällt dir mit hoher Wahrscheinlichkeit während dessen eine weitere Platte aus.