dirty shutdown -> mögliche Konsequenzen für ESXi 5

[Login]

Hallo zusammen,

es geht um die generelle Frage, wie schädlich ein dirty shutdown bei einem ESXi host ist (Stromausfall, etc.)

Bei der Frage ist vorrausgesetzt, dass keine VMs mehr laufen.

Thema: USV Client auf ESX Servern.

Ich hatte bisher noch keine Probleme nach dirtyShutdowns von ESXi Hosts und würde gerne eure Erfahrungen und Einschätzungen hören

Eins schon im Vorraus: Wir sind uns einig, dass die "sauberste Lösung" ein aktiver ShutdownClient für den ESX ist. Aber was, wenn es keinen gibt...!?

Gruß,
Conne

[Dayworker]

Meine Einschätzung ist, daß der ESXi davon unbeeindruckt bleibt. Der ESXi lädt beim Start ja alle benötigten Daten in den RAM und sichert dann nur noch stündlich seine Config.
Wenn ESXi nicht gerade beim Sichern ausgeht, müßte alles im konsistenten Zustand sein. Eventuell helfen die beiden Bootbanks ab dem 5er aber auch hier weiter.

[bla!zilla]

Den Hypervisor selber wird der dirty Shutdown nicht jucken. Trotzdem verstehe ich nicht was so schwer daran ist, den ESXi per Script herunterzufahren. Das kann man elegant per Script von einem phsikalischen Host aus machen. Da muss man auch keine USV Clients installieren o.ä.

[Klaus_Urban]

Hallo Bazilla,
> Da muss man auch keine USV Clients installieren o.ä.
nunja, irgendeiner muss ja feststellen, dass der der Strom von der USV kommt.
Man kann zB in einer VM den USB-Port zur USV durchreichen und beim Stromausfall per Plink.exe alle VM's herunterfahren und den Hypervisior ausschalten.

[bla!zilla]

USB durchschleifen? Wie wäre es mit einem Netzwerkadapter für die USV? Du fährst erst alle VMs herunter, evtl. Storage per Skript in die richtige Stellung bringen und ein Client oder verbleibender physikalischer Server fährt die ESXer runter.

Und bevor es hier gepostet wird: APC PCNS in Kombination mit vMA und Auto Shutdown funktioniert nicht.

[irix]

Conne,
die groesste Gefahr ist das dein VMFS schaden nimmt bzw. die GuestOS Filesysteme. Muss jeder selber wissen. Wir hatten doch die Woche erst hier nen Thread wo die harte Tour irgendwie zu nicht wieder gemounteten Datestore gefuehrt hat.

Die USV Hersteller bringen nun schon fertige VMware Appliances mit welche den ganze API Kram schon Onboard haben und Connecten dann zum Host bzw. vCenter. Die Bedienung fande ich nicht ganz selbsterklaerend und da auch gleich Tot und Teufel enthalten ist leidet die Uebersichtlichkeit aber zumind. haben die Hersteller die Zeichen der Zeit erkannt.

Gruss
Joerg

[PeterDA]

Hi Joerg,
welche Hersteller meinst du denn? Hast du da mehr Infos!

Gruß Peter

[irix]

Eaton

Gruss
Joerg

[bla!zilla]

Jap, Eaton. Leider noch nicht live getestet.

[UrsDerBär]

Zwar keine Dirty-Shut-Down-Erfahrung mit ESXi aber dafür eine Lösung für die (eigene) Kleinumgebung damit es gar nicht erst vorkommen kann wenn alles schief geht:
Man legt manuell Hand an die USV's und führt die Kabel der Batterien raus und hängt Sie an sehr dicke Brummer. Zumindest bei kleinen USV mit 48V Strängen hält sich der Aufwand und die Kosten ziemlich in Grenzen. Bei den grösseren mit 192V wird es teurer. Halt vom Fachmann verkabeln oder zumindest abnehmen lassen.

Die Umgebung ist dann notfalls eine Ewigkeit oben wenn das mit dem zuverlässigen Auto-Shutdown nicht klappt, Telefonnetz auch lahm liegt usw. und man vorbei muss oder muss bei kleineren Unterbrüchen gar nicht erst heruntergefahren werden. Auch sehr angenehm.

Die Batterien sind auch deutlichst langlebiger
- Top-Qualität selber auswählbar (was originale oft nicht zwingend sind, vor allem kleine)
- Deutlich billiger pro Ah/Watt
- allgemein bessere mechanische Verarbeitung bei den dicken Dingern
- weniger parallele Stränge (wie bei Extensions üblich) --> Weniger gegenseitiges Entladen (auch bei Impedanzgepaarten)
- Die dicken meist weniger anfällig auf Verbrauchsspitzen wie in USV-Betrieb üblich
- Batterien sind nicht immer gleich beim kleinsten Unterbruch leergenuckelt, was für die Lebensdauer essentiel ist

[continuum]

Ich hab ganz andere Erfahrungen mit dirty shutdowns bei meinen "Kunden"

Es kann bei einem Stromausfall des ESXis dazu kommen, dass die VMFS volumes auf lokalen Platten ihre Partitionierung verlieren - von daher sollte man zusehen dass sowas nie passiert

[Klaus_Urban]

Hallo,
hier eine kleine Anleitung, die auch bei der ESXi-Free Version funktioniert.

ESXi-1 und ESXi-2 + Switch hängen an der USV. USB-Kabel an ESXi-1.

USV: Eaton PW5115
Eaton Konfiguration unter der Windows-VM auf ESXI-1
Shutdown Zeit:120
Shutdown Typ: Script
Shutdown Script: C:\Script\ESXi-Ausschalten.bat
Abschaltung des Ausgangs - nicht aktiv

Script ESXi-Ausschalten.bat
=======================
Rem Nur Admin hat Zugriff wg. Passwort im Klartext
start plink.exe -ssh -pw Passwort -2 root@ESXI-2-IP "/vmfs/volumes/Sicherung/script/Ausschalten.sh"
start plink.exe -ssh -pw Passwort -2 root@ESXI-1-IP "/vmfs/volumes/datastore1/script/Ausschalten.sh"

Script Ausschalten.sh auf ESXi-1:
===========================
#!/bin/sh

VM_NAME="APServer"
/bin/vim-cmd vmsvc/getallvms | sed 's/[[:blank:]]\{3,\}/ /g' | awk -F' ' '{print "\""$1"\";\""$2"\";\""$3"\""}' | sed 's/\] /\]\";\"/g' | sed '1,1d' > /tmp/vms_list
VM_ID=`grep -E "\"${VM_NAME}\"" /tmp/vms_list | awk -F ";" '{print $1}' | sed 's/"//g'`
/bin/vim-cmd vmsvc/power.shutdown ${VM_ID} > /dev/null 2>&1

sleep 120
/bin/halt


Script Ausschalten.sh auf ESXi-2:
===========================
#!/bin/sh

VM_NAME="Service-XP"
/bin/vim-cmd vmsvc/getallvms | sed 's/[[:blank:]]\{3,\}/ /g' | awk -F' ' '{print "\""$1"\";\""$2"\";\""$3"\""}' | sed 's/\] /\]\";\"/g' | sed '1,1d' > /tmp/vms_list
VM_ID=`grep -E "\"${VM_NAME}\"" /tmp/vms_list | awk -F ";" '{print $1}' | sed 's/"//g'`
/bin/vim-cmd vmsvc/power.shutdown ${VM_ID} > /dev/null 2>&1

VM_NAME="NFS-Server"
/bin/vim-cmd vmsvc/getallvms | sed 's/[[:blank:]]\{3,\}/ /g' | awk -F' ' '{print "\""$1"\";\""$2"\";\""$3"\""}' | sed 's/\] /\]\";\"/g' | sed '1,1d' > /tmp/vms_list
VM_ID=`grep -E "\"${VM_NAME}\"" /tmp/vms_list | awk -F ";" '{print $1}' | sed 's/"//g'`
/bin/vim-cmd vmsvc/power.shutdown ${VM_ID} > /dev/null 2>&1

sleep 120
/bin/halt

Klaus

[Login]

Nabend,

vielen Dank... jaja, die Möglichkeiten sind groß

Speziell in dem aktuellen Projekt wurde es über einen Generex snmp Adapter, der an der ersten ADPOS USV hängt, gelöst.

Es war nur ein kleiner RCCMD Client in der vMA zu installieren. Die IP der vMA beim snmp Adapter hinterlegt und einen ShutdownJob angelegt, der den Host mit 10 min Delay herunterfährt, sobald der HausStrom 10 Min weg bleibt.
Das blöde ist nur, dass die VMs im HA Cluster nicht ohne Weiteres per ESX konfig vernünftig heruntergefahren werden können. Da hat ein RCCMD Client pro VM abhilfe geschaffen.
Das Ganze funktioniert wasserdicht, eben noch getestet

Aber zurüch zum dirty shutdown. Die Erfahrungen sind wohl durchwachsen. Bisher habe ich auch noch keine schreckensSzenarien (diesbezüglich) erlebt. Aber: Der Täufel ist bekanntlich ein Eichhörnchen und wer die Möglichkeiten hat, sollte definitiv vorsorgen.

Grüße,
Conne

[UrsDerBär]

- Zeitlimit immer ausreichend?
- Erfolgt Überprüfung vor HardShutDown ob noch VM's laufen?
- Hätte die USV-Zeit vielleicht sogar gereicht und HardOff von VM's wäre vergeblich?
- Was wenn VM's grad mit Windows oder .Net Updates beschäftigt sind?
- Bei zwei USV's wäre die Laufzeit im guten Fall doppelt solange, deshalb HardOff mit Zeitlimit riskieren? Welche Chance ist höher, die das die USV defekt ist oder jene das die VM vielleicht noch nicht unten war?
- Was wenn nur eine Zuleitung/USV nen Knacks hat und es gar keine Stromunterbruch gibt?
- Was wenn Überbrückungszeit evtl doch gereicht hätte?
- Ab wann erfolgt Befehl für Herunterfahren? Sofort? --> Igitt

Ich denke Du siehst worauf ich hinaus will. Die Software der Hersteller ist für sich Alleine irgendwie noch nicht wirklich ausgereift und es gibt zu viele Szenarien die wirklich eintreffen können und die schöne Strategie für die Katz ist oder sogar einen unnötigen HardOff von VM's einleitet.

Klar kann man alles auf Paranoia schieben, aber sind einige Erfahrungen aus der Praxis die ich mit Hardlimits leider schon machen musste (nicht immer mit tollem Ausgang) und mich eher Richtung extreme Laufzeit + manuelles Endabschalten gebracht haben.

Kommt natürlich immer auf die Umgebung an, aber sobald Datenbanken + Virtualisierung im Spiel ist kann man sich ne Menge Ärger ersparen mit einer potenten Stromversorgung damit die bei uns üblichen ungeplanten Unterbrüche überbrückt werden können oder sicher jemand vor Ort sein kann um einen geregelten ShutDown durchzuführen.

Eine Punkt für Punkt Anleitung die auch für einen MA ohne Plan funktioniert ist hier Erfahrungsgemäss auch Vorteil für den Fall das Fernwartung auch nicht mehr tut und man jemanden per Telefon eine Wegleitung geben muss oder er das selbständig machen kann wenn man nicht erreichbar ist.

[Klaus_Urban]

Hallo UrsDerBär,

> - Zeitlimit immer ausreichend?

die USV liefert für ca. 40 Minuten Strom.

>- Erfolgt Überprüfung vor HardShutDown ob noch VM's laufen?

kann ich noch im Script einbauen.

>- Hätte die USV-Zeit vielleicht sogar gereicht und HardOff von VM's wäre vergeblich?

Leider kommt beim Stomausfall keine Meldung, wie lange ser Strom wegbleibt.

>- Was wenn VM's grad mit Windows oder .Net Updates beschäftigt sind?

Das hat bisher immer gereicht.

>- Bei zwei USV's wäre die Laufzeit im guten Fall doppelt solange, deshalb HardOff mit > Zeitlimit riskieren? Welche Chance ist höher, die das die USV defekt ist oder jene das
> die VM vielleicht noch nicht unten war?

40 Minuten sollten erst mal reichen.

- Was wenn nur eine Zuleitung/USV nen Knacks hat und es gar keine Stromunterbruch gibt?

Dann wird das Shutdown auch nicht ausgelöst. Fehlt das USV-Signal, wird das nur Protokolliert.

- Was wenn Überbrückungszeit evtl doch gereicht hätte?

Das kann man vorher ja nicht wissen.

- Ab wann erfolgt Befehl für Herunterfahren? Sofort? --> Igitt

Nein, erst mal 2 Minuten abwarten. Dann weden die VM's heruntergefahren.
Dann wieder 2 Minuten warten. Danach werden die ESXi-Server heruntergefahren.
Die USV bleibt aber an.

>Ich denke Du siehst worauf ich hinaus will. Die Software der Hersteller ist für sich >Alleine irgendwie noch nicht wirklich ausgereift und es gibt zu viele Szenarien die >wirklich eintreffen können und die schöne Strategie für die Katz ist oder sogar einen >unnötigen HardOff von VM's einleitet.

>Klar kann man alles auf Paranoia schieben, aber sind einige Erfahrungen aus der >Praxis die ich mit Hardlimits leider schon machen musste (nicht immer mit tollem >Ausgang) und mich eher Richtung extreme Laufzeit + manuelles Endabschalten >gebracht haben.

Ich bin auch so ein Paranoia Typ.

In der Regel gibt es bei mir nur einen Terminalserver.
Der läuft unter einer Raid 10 ESXi VM. Zusätzlich wird jede Nacht die VM zur Sata-Bootplatte des ESXi in 2 verschiedene Ordner übertragen. Danach werden die Ordner noch zum ESXI-2 übertragen. Die VM sichert auch noch per Acronis oder WBAdmin zum Sicherungsordner auf dem Raid 10 datastore und auf mehreren USB-Wechselfestplatten. Der ESXi-2 hat auch einen Raid-Kontroller und leere Festplatteneinschübe.
So habe ich 5 Versionen der VM, die ich sofort starten könnte. Das ich beim Raid-Kontroller den Schreib-Cache ausgeschaltet habe, kann ich die Festplatten problemlos umstecken, sollte der ESXi-1 vollstängig ausfallen. So habe ich auch keinen Datenverlusst, falls nach der letzen Sicherung noch gearbeitet wurde.
Sollte der Datenbestand dann aber fehlerhaft sein, muss iman mit der letzen Sicherung weiterabeiten.

>Kommt natürlich immer auf die Umgebung an, aber sobald Datenbanken + >Virtualisierung im Spiel ist kann man sich ne Menge Ärger ersparen mit einer potenten >Stromversorgung damit die bei uns üblichen ungeplanten Unterbrüche überbrückt >werden können oder sicher jemand vor Ort sein kann um einen geregelten ShutDown >durchzuführen. Wink

Wenn der Strom nach Feierabend ausfällt, müsste die USV für max 14 Stunden Strom liefern. Das ist dann doch etwas lange. Wenn die USV nicht mehr genug Strom liefern kann, schaltet sie ab. In dem Fall verursacht die USV sebst einen Stromausfall.

>Eine Punkt für Punkt Anleitung die auch für einen MA ohne Plan funktioniert ist hier >Erfahrungsgemäss auch Vorteil für den Fall das Fernwartung auch nicht mehr tut

da auch der Router und der Switch an der USV hängen, fuktioniert die Fernwartung.

> und man jemanden per Telefon eine Wegleitung geben muss

Dann aber per Handy, denn die Telefonanlage hat keinen Strom.

>oder er das selbständig machen kann wenn man nicht erreichbar ist.

Wenn der Strom wieder da ist, einfach die ESXi-Server einschalten.
Das konnte bisher jeder ohne Anleitung.

Klaus