Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

[solved] Datastores sind nach Ausfall des Storage nicht verfügbar

Moderatoren: irix, Dayworker

Member
Beiträge: 36
Registriert: 18.07.2012, 22:39

[solved] Datastores sind nach Ausfall des Storage nicht verfügbar

Beitragvon Sheep78 » 12.03.2017, 21:48

Hallo zusammen,

hatten heute Wartungsarbeiten und Umstrukturierungen in unserem RZ.

Haben eine Equallogic-Storageumgebung und drei esx-Hosts mit dem Essentials-Plus Paket.

Da wir einen Host und zwei Storagemember umbauen mussten, habe ich diese in den Wartungszustand versetzt und diese heruntergefahren.

Vermutlich ging hier etwas schief und ich habe die Storagemember zu schnell heruntergefahren, jedenfalls waren die Volumes welche auf den beiden Membern liegen nicht mehr verfügbar nach dem Umbau.

Recherchen haben ergeben, dass es vermutlich an einem Lock der Volumes liegt und ich habe verschiedene Massnahmen durchgeführt.

Jedenfalls ist aktuell der Stand so, dass sich alles noch verschlimmbessert hat und wir aktuell nur einen Host am laufen haben mit den Volumes der anderen beiden Member, welche nicht abgeschaltet wurden. Die anderen beiden Member haben auch diese Volumes nicht mehr.

Die ganzen anderen Datenspeicher sind im VCenter ersichtlich (mit kein Zugriff), aber können nicht verbunden werden und haben unter verbundene Hosts die Zahl 0 stehen.

Auch ein neu zum testen angelegter Datenspeicher konnte nicht verbunden werden, weiss nicht ob das normal ist.

Ich denke das ganze wird hier über das Forum nicht zu lösen sein, deshalb wollte ich hier mal nachfragen ob morgen früh jemand direkt Zeit hat um uns per Telefon/Fernwartung zu unterstützen. Selbstverständlich soll dies nicht kostenfrei erfolgen.

Oder íst es am besten sich direkt an VMware zu wenden? Gibt es da Soforthilfe? Bisher dauerte es immer einige Tage bis VMware sich meldete wenn wir Probleme hatten (hatten aber auch noch keinen Totalausfall).

Bedanke mich im voraus für Unterstützung.

Gruss Lars

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Supi » 12.03.2017, 22:08

Hallo Lars,

Kann dir zwar keine konkrete Hilfe anbieten, jedoch den Tipp geben, deine Zeilen noch mal quer zu lesen.
Denn so richtig wird man da auch nach dem zweiten lesen nicht schlau draus.

Was sind bei dir storagemember?

Was wurde wie heruntergefahren? Und wie ist die Umgebung aufgebaut?
Immer noch die EQ 6110? Wie greifen die 3 Host zu ?
Werden die Luns nur über VMware genutzt oder direkt in VM's eingebunden per ISCSI in der vom?

Welcher Host kann nun noch welche LUN sehen? Und welcher Host die keine luns mehr?

Und ganz wichtig, was hast du denn jetzt Versucht zur Fehlerbehebung?

Gibts denn Dell pro Support auf die Server oder die Storage?
Je nach SLA sind die doch auch am WE erreichbar?

Ansonsten Plan b überlegen? Anderes Storage wo man den Backup rucksichern kann verfügbar?

Member
Beiträge: 36
Registriert: 18.07.2012, 22:39

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Sheep78 » 12.03.2017, 22:36

Hi Stefan,
erstmal,trotzdem danke für deine Antwort. Sorry, hätte wirklich nochmal lesen sollen.
Kurz zum Aufbau des Storage Gruppe1:
Pool1: EQL 6110 (Member1)
Pool2: EQL 6110 (Member2)
Pool3: 2x EQL 4110 (Member3+4)

Die Hosts sind mit iSCSI verbunden.

Habe einen der Hosts in den Wartungsmodus versetzt und danach die beiden PS4110 heruntergefahren. Zu diesem Zeitpunkt waren alle Maschinen welche auf Die beiden PS4110 zugreifen heruntergefahren.

Nach dem Umbau und hochfahren der beiden EQL/Host war kein Zugriff auf Volumes der beiden EQL mehr möglich.

Die Datenspeicher blieben alle auf inaktiv (oder kein Zugriff) stehen und kamen nicht mehr hoch. Eine der beiden EQL hatte auch beim hochfahren ein Problem eines Controllers gemeldet und eine Festplatte wurde nicht erkannt. Das,RAIDrecover wurde automatisch von der EQL angestoßen.

Versucht habe ich einiges, was im Nachgang vermutlich nicht so gut war:
- hochfahren des Backupserver um zu prüfen ob der ISCI-Initiator alle Volumes sieht -> tut er
- vsphere HA deaktiviert, die beiden Hosts welche gar keine Volumes mehr sehen wurden auch neu gestartet und ich meine sogar danach waren die nicht mehr ersichtlich
- die beiden Hosts habe ich auch aus dem Vcenter entfernt und neu aufgenommen
- in der Shell versucht das lock aufzuheben, da kam ich aber nicht wirklich klar und hab es dann abgebrochen
- Im Pool3 einen neuen Datenspeicher angelegt und versucht den einzubinden -> wird bei der Suche nicht gefunden

Aktuell ist es so, dass der Host 1 (welcher nicht neu gestartet wurde) auf alle Volumes und Vms der beiden EQL6110 zugreifen kann. Die Volumes der beiden 4110 werden mir zwar im webclient angezeigt, aber als mit keinem Host verbunden. Die beiden anderen Hosts sehen gar keine Volumes.

Wir haben ne Erweiterung des Storage bestellt, weshalb wir den Schrank u.a. Umbauten um Platz zu schaffen. Aktuell fehlt aber leider der Platz die Daten aus dem Backup herzustellen.

ProSupport bei Dell haben wir, wäre auch ne Möglichkeit da morgen anzurufen. Allerdings ist das VMware nicht von DELL. Denkst du Dell wäre hier trotzdem der richtige ASP?

Wie gesagt, denke hier übers Forum wird es schwer sein weiter vorzugehen, zumal das ganze natürlich schnellstmöglich wieder laufen sollte.

Geuss Lars

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Supi » 12.03.2017, 23:19

Hallo Lars,

Ja, das Forum hilft da um die Zeit nicht viel weiter.
Irix hier Forum wäre ggf. Morgen ein Tipp.
Ansonsten jeden Strohhalm nehmen, sprich den Dell pro Support oder wenn ggf. sogar VMware Support, so Production Support.
Also ist auf die Storage kein 7tage/24h Support?
Wenn doch müsste da doch jetzt jemand zumindest auf Englisch erreichbar sein.

War vielleicht doch ein Pool über alle 3/4 EQL angelegt?

Wenn kein ausreichender Ersatz Platz da ist, dann hilft wohl nur, kritische VM's festlegen( so es dazu nicht schon einen notfallplan gibt) und zumindest diese 'an den Start' bringen.

King of the Hill
Beiträge: 12940
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon irix » 13.03.2017, 06:43

Problem noch vorhanden wenn ja schreib eine PM mit deinen Kontaktdaten. Hier gabs auch schon mal EQL bedingte Probleme aber den Hosts war das bis Dato immer egal bzw. ein Reboot und weiter gings.

Gruss
Joerg

Member
Beiträge: 36
Registriert: 18.07.2012, 22:39

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Sheep78 » 13.03.2017, 07:13

Ja Probleme noch vorhanden, hab dir die Daten geschickt.

Lars

King of the Hill
Beiträge: 12940
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon irix » 13.03.2017, 07:25

hab geantwortet. Bin verwende ab nun die Mailadresse.

Ich rufe in 10min durch.

Gruss
Joerg

King of the Hill
Beiträge: 12940
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon irix » 13.03.2017, 11:39

So... das grosse "P" steht nicht mehr im Auge und alle Datastores sind wieder im Zugriff. Auf jeden Fall ist die Konfig was MTU angeht suboptimal eingestellt gewesen. Aber da wird die HW auch noch ihren Anteil gehabt haben. Zumind. sind alle EQL Members nach dem Eingriff des Supports wirder "OK".

Gruss
Joerg

Member
Beiträge: 36
Registriert: 18.07.2012, 22:39

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Sheep78 » 13.03.2017, 15:13

Ja, alles wieder online, daher auch an dieser Stelle nochmals vielen, vielen Dank für die Unterstützung. Auch mit DELL alleine hätte ich die Kuh nicht vom Eis bekommen.

DELL prüft aktuell noch die Logs der EQL, da hier definitiv auch etwas im argen war.

Freue mich schon darauf wenn man sich persönlich kennenlernt und ich mich bei einem Bier revanchieren kann.

Gruss Lars

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Supi » 13.03.2017, 20:26

Hallo Lars,

danke fürs Feedback. Ist ja leider häufig, dass dieses ausbleibt, wenn alles wieder läuft.

Auf Joerg ist halt verlass würde ich mal sagen.
Habe zuvor auch direkt über Dell gekauft und guten (Einbau)-Service über ehemals Getronics eingekauft. Jedoch hat der direkte Draht noch mal seinen Charme, da der Background doch wesentlich breiter ist als beim Standard Dell-Berater. Dazu wechseln die ja jedes Jahr.
Aber was gutes Beratung ausmacht siehst du ja hier im Forum an meinem "Benchmark" der scv2020. :grin:

Member
Beiträge: 36
Registriert: 18.07.2012, 22:39

Re: Datastores sind nach Ausfall des Storage nicht mehr verfügbar

Beitragvon Sheep78 » 14.03.2017, 08:59

Ja, mit Jörg hast du recht. Schon der erste Anruf hat sehr geholfen durch seine beruhigende Art.

Bisher hatten wir bei uns eine Lücke im Bereich der EQL und der VM-Umgebung was DIenstleister angeht. Denke die ist jetzt geschlossen.

Das witzige ist: Als ich im Outlook seine Kontaktdaten speichern wollte, sagte mir Outlook der Kontakt sei schon vorhanden. Da fiel mir ein, dass wir 2012 schonmal Kontakt hatten. Da hat man die Rufnummer von "Superman" und weiss es gar nicht mehr.

Abschliessend zu dem ganzen Thema gebe ich noch kurz die Rückmeldung weiter, welche von DELL bzgl. der EQL kam:
Die Log Analyse vom Member 4 hat gezeigt, dass Kontroller 1 die Fehlermeldung in Bezug auf CMOS Batterie gezeigt hat. Die CMOS Batterie dient nur dazu, die Zeit zu speichern, wenn Strom ausgeschaltet ist.
Im Prinzip ist diese Meldung nicht kritisch, obwohl die Web GUI von Equallogic das als kritisch einstufft. Das Problem könnte auch Firmware mäßig ausgelöst sein. Das hat aber kein Einfluss auf den Produktiven Bereich.


Irgendwie glaube ich persönlich nicht daran, dass es nur die Batterie war, denn auch die anderen ESXe haben ja die Verbindung verloren und konnten sie nicht mehr aufbauen. Denn der falsche MTU-Wert (vSwitch war nicht auf Jumbo eingestellt, alles andere schon). Allerdings hat Jörg nur den Wert verändert und danach war die Verbindung wieder da.

Dem Ratschlag von DELL alles upzudaten kommen wir natürlich nach, hatten wir schon lange auf der Agenda, aber aufgrund von Zeitmangel stand es in der Prioliste nie hoch.

Ich kenne es selbst, dass viele in Foren zwar Hilfe schreien, aber danach nicht bescheid geben was denn jetzt der Grund war. Für andere die mal das gleiche Problem haben, ist das leider wenig hilfreich und auch für die beteiligten schade wenn man nicht erfährt was war.

Gruss Lars


Zurück zu „vSphere 5.5 / ESXi 5.5“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast