Raid/Hardware Überwachung Fujitsu Server mit Customized Image über ServerView RAID Manager auf VM

[LoboNr1]

Hallo zusammen.
Erstmal sorry für den Betreff. Ich hab mir einen abgebrochen um das ganze Problem möglichst direkt zu beschreiben aber ich befürchte es verwirrt nur mehr als es das Thema erklärt
Ich habe vor im laufe der nächsten Monate einen Windows Server 2008R2 durch einen Windows Server 2019 zu ersetzen. Der Server 2008R2 läuft noch direkt auf der Hardware. Der Server 2019 läuft schon jetzt in einer VM auf einem ESXi 6.7 (Fujitsu-VMvisor-Installer-6.7-10302608-v460-1) zusammen mit ein paar anderen Systemen. Die "neue" Hardware ist ein Fujitsu Primergy TX140 S1p mit guter Ausstattung (8 Platten a 500G im Raid6 über LSI MegaRAID D2616, 32GB Ram, zwei redundante Netzteile,...) und übertrifft die Hardware des 2008R2 Server deutlich.
Beim 2008R2 Server hab ich die Hardware bzw. die Raid Überwachung direkt über den Server laufen lassen (Fujitsu RAID Manager). Soweit alles easy.
Doch beim ESXi habe ich inzwischen gelernt, dass der ESXi selber keine Hardware bzw. Raid Überwachung leistet und man diese "anders" realisieren muss. Auf meiner Suche nach einer Lösung habe ich gelesen, dass der Fujitus ServerView RAID Manager in der Lage ist das Raid auf einem ESXi Server zu monitoren. Das klang schon mal sehr gut!
Also habe ich mir einen "Testserver 2019" in eine VM installiert und bis heute früh probiert und gemacht. Nach einem manuellen Start des "CIM Server" Service (raum auch immer der nicht lief!? Laut Einstellung müsste er zusammen mit dem ESXi starten...) hatte ich auch eine Verbindung.

Ich hab sogar die BBU rekalibriert was das Raid gefühlt deutlich beschleunigt (jetzt wo der Cache verwendet wird). Doch als ich dann endlich glücklich geschlummer habe, hat er die Verbindung zum Controller verloren So ein Mist!

Nun bin ich mit meinem Latein am Ende und bitte euch um Hilfe!

Was kann ich tun? (Reboot Testserver hat restart CIM Server hat nix gebracht)

Und eine Frage die ich mir noch stelle selbst wenn es wieder läuft ist, wie ich die redundaten Netzteile überwache. Denn der Server steht am ADW und da merkt keiner wenn ein Netzteil abraucht. Optimal wäre eine Mail wie es der Raid Manager macht (sollte)!

[Dayworker]

Unser "irix" macht das, wie in einigen Threads beschrieben, nicht oder nur zum Teil über den ESXi, sondern nutzt dafür die KVM-Lösung von Dell namens iDRAC. Bei HPE wäre das dann iLO und so weiter für die anderen Hersteller.

[irix]

Bei Fujitsu waere das die iRMC gewesen. Bei "Entry" Level Servern aber evtl. gar nicht verfuegbar.

Was diese Art des Management angeht im Zusammenhang mit den MegaRAID und auch diese alten Adpatec Kontroller gibts doch zahlreiche Threads zum Thema. Allen gemein war und ist allerdings das diese Art extrem unzuverlaessig ist. Allerdings bist du schon mal weiter als viele weil bei dir hat es ja zumind. kurzzeitig schon mal funktioniert

Gruss
Joerg

[JustMe]

Dieser Entry-Server hat in der Tat eineN iRMC, Version 3 (mit dem leider noch keine RAID-Ueberwachung geht [erst recht nicht mit diesem RAID-Controller]).

Was dieser Server andererseits nicht hat, ist eine ESXi-Freigabe seitens des Herstellers. Was das Custom Image 6.7u1 von FTS (und auch schon einige Vorgaenger) darueberhinaus nicht hat, ist eine Unterstutzung fuer die uralten 6Gbit Controller:
(Aus dem Readme von FTS zum Custom Image)

Controller related issues

Deprecated and unsupported controller

Before updating ESXi 6.0 to ESXi 6.7, please check both "The following controllers are not supported from ESXi 6.5" and "The following controllers are not supported from ESXi 6.7".

Before updating ESXi 6.5 to ESXi 6.7, please check "the following controllers are not supported from ESXi 6.7".

• The following controllers are not supported from ESXi 6.5:
- RAID Ctrl SAS 6G 0/1 (D2607)
- PSAS CP200i
- RAID Ctrl SAS 6G 5/6 512MB (D2616)

Welche Klimmzuege fuer den Betrieb bei Dir bereits unternommen wurden, ist noch nicht offengelegt worden.
Dass hier die fragile (Netzwerk-)Verbindung zwischen Controller und SV-RAID nicht stabil erscheint, ist wohl dann nicht anders zu erwarten. Man koennte hier noch mit unterschiedlichen Versionen von Firmwares, Treibern, LSI-CIM-Providern, SV-RAID, Windows-Firewall-Einstellungen, usw. usf. herumprobieren, aber das ist dann doch eher eine Aufgabe fuer Dich an langen kalten Winterabenden (und dann auch noch in Server 2019...brrrr...mit schuettelt sich alles)

[Dayworker]

Die fehlende Freigabe für den Controller kann, muß aber nichts bedeuten. Es kann auch einfach damit zusammenhängen, daß der Controller sich nicht mehr im Vertrieb der aktuellen Servergeneration befindet und sich in diesem Fall Fujitsu daher dessen kostenpflichtige HCL-Aufnahme für den ESXi-6.7 erspart hat. Auf der anderen Seite könnte der Controller für heutige Bedürfnisse auch klar ein Bremsklotz darstellen bzw könnten sich aufgrund zu alter Firmware im Hinblick auf UEFI noch ganz andere Probleme ergeben. Beispielsweise geben ja viele ältere noch für BIOS konzipierte Grakas unter UEFI kein Bild aus, weil im Graka-Bios die für UEFI notwendigen Routinen nicht vorhanden sind und ähnliches ist auch von älteren HW-Controllern bekannt.

Da der 6.5er aber denselben Supportzeitraum wie der 6.7er bei vergleichbarem Funktionsumfang hat und der 6.5er auch für alle mir bekannten Backup-Anbieter freigegeben ist (beim 6.7er haben wohl einige 3rd-Party-Lösungen immer noch Probleme), sehe ich absolut keinen Grund 6.7er Hosts produktiv einzusetzen. Wie "irix" an anderer Stelle hier im Forum schrieb, ist momentan die beste Lösung wohl die 6.7er VCSA mit 6.5er Hosts einzusetzen und damit das Beste aus beiden Welten zu vereinen, sprich die gefühlt bugfreieren Hosts mit der neueren VCSA, wenn die Backup-SW mitspielt.

[LoboNr1]

Hallo und erstmal vielen Dank für die zahlreichen Antworten. Auch wenn diese nicht besonders motivierend sind

Das Thema iRMC habe ich mir auch schon angeschaut und hier wären zumindest die Netzteile zu überwachen. Dich leider kann der iRMC 3 nicht mit SSL/TLS Verschlüsselung beim Mailversand arbeiten und das setzt mein Provider vorraus.

Bezüglich der "Klimmzüge" gibt es nicht viel zu berichten. Wie schon geschrieben habe ich das Custom Image für Fujitsu von VMWare genommen und dies per esxcli Update auf den aktuellen Stand gebracht. Dann einen Server 2019 VM installiert und da ServerView RAID Manager von Fujitsu installiert. Dann noch den CIM Server von der ESXi WebIf aus gestartet und "schon" lief die Überwachung. Bis einige Stunden später die Verbundung weg war. Neustart der VM und des CIM Servers brachte nichts. Nun habe ich gestern Mittag den ganzen ESXi rebootet und komischerweise musste ich den CIM Server wieder manuell starten obwohl der auf "Start and stop with host" steht:

Als ich dann am Abend nachdem mein Sohn im Bett war die VM mit dem ServerView RAID Manager gestartet habe, lief die Überwachung wieder. Bis jetzt ohne Probleme.

Mal abwarten wie es weiter geht.
So wie es aussieht gibt es wohl keine bessere Lösung

[irix]

Ich schliesse mal von den anderen auf deine iRMC und dann kann ich dir sagen das du bei allen HW Problemen benachrichtigt werden wuerdest. Bei den anderen konnte man bis vor 2 Generationen auch nichts vom Storage sehen und trotzdem wird bei Batteri und HDD Problemen ein Alarm ausgeloest und du siehst die Logfileeintraege.

Installier in einer VM einen SMTP Forwarder.

Gruss
Joerg

[JustMe]

Versteh' mich bitte nicht falsch: Demotivierend sollten zumindest meine Aussagen nicht unbedingt klingen. Grundsaetzlich ist die verwendete Hardware ja nicht schlecht, und hat die letzten Jahre wohl auch schon (wenn auch hoechstwahrscheinlich mit ganz anderen Aufgaben und Betriebssystemen) vor sich hin gewerkelt.
Du musst Dir halt im klaren darueber sein, dass dies, solange es ueberhaupt (und auch noch mit aktueller Software) laufen soll, eine Spielwiese bleiben wird, und mit jedem Patch auch ploetzlich einfach nix mehr gehen koennte. Meine Existenz (oder die einer kleinen Firma) wuerde ich darauf nicht aufbauen wollen.
Aber so wie es bisher klingt, geht's hier wohl eher vermutlich darum, einen abgeschrieben uebernommenen Alt-Rechner noch fuer den Heim-Betrieb im Gnadenbrot weiter seine Arbeit erledigen zu lassen, bis er in hoffentlich nicht allzu naher Zukunft den Weg alles Irdischen antritt...

[LoboNr1]

Installier in einer VM einen SMTP Forwarder.

Kannst du einen empfehlen? Am besten für Windows Server 2019

Versteh' mich bitte nicht falsch: Demotivierend sollten zumindest meine Aussagen nicht unbedingt klingen. Grundsaetzlich ist die verwendete Hardware ja nicht schlecht, und hat die letzten Jahre wohl auch schon (wenn auch hoechstwahrscheinlich mit ganz anderen Aufgaben und Betriebssystemen) vor sich hin gewerkelt.
Du musst Dir halt im klaren darueber sein, dass dies, solange es ueberhaupt (und auch noch mit aktueller Software) laufen soll, eine Spielwiese bleiben wird, und mit jedem Patch auch ploetzlich einfach nix mehr gehen koennte. Meine Existenz (oder die einer kleinen Firma) wuerde ich darauf nicht aufbauen wollen.
Aber so wie es bisher klingt, geht's hier wohl eher vermutlich darum, einen abgeschrieben uebernommenen Alt-Rechner noch fuer den Heim-Betrieb im Gnadenbrot weiter seine Arbeit erledigen zu lassen, bis er in hoffentlich nicht allzu naher Zukunft den Weg alles Irdischen antritt...

Passt schon. Wenn ich mich davon wirklich demotivieren lassen würde, wäre was falsch. Aber auch wenn du es nicht glaubst, der Server wurde schon im "alten Leben" mit ESXi eingesetzt. Die Hardwareüberwachung hat man mit Nagios realisiert. Doch der Aufwand ist mir einfach zu viel. Ich müsste mich komplett neu in das Thema einarbeiten und eine Nagios VM aufbauen.
Und bezüglich der Existenz der kleinen Firma ist es schlimmer als du denkst. Denn der Server ist für das Familienunternehmen meines Schwiegervaters. Eines total engstirnigen Handwerkers der (leider durch mich) fast nie Geld in die IT stecken musste und das auch nicht tut. Und da meine Frau da noch mit drin hängt, bin ich mit gefangen und somit mit gehanden. "Er würde ja am liebsten wieder alles mit Zettel und Strift machen und seit diese Computer da sind ist alles schlechter"

[JustMe]

Ohjemine...
Da wuensch ich Dir und dem Rest der Familie einfach viel Glueck
Zumindest deutet Deine Schilderung auch an, dass nicht der gesamte Betrieb zusammenbricht, sobald der Server mal nicht will. Obwohl... die Erfahrung zeigt, dass man sich an diese elektronischen Helferlein schneller gewoehnen (und davon abhaengig machen) kann als einem manchmal lieb ist.

Aber wie auch andere hier schon schrieben: Der fehlende "Segen" vom Hersteller bedeutet ja nicht, das etwas auf keinen Fall funktionieren kann. Und solange Du immer rasch zur Verfuegung stehst, um alles am Laufen zu halten, "werd's scho gehn". Und wenn mal doch irgendwas nicht mit der aktuellsten Software drehen will, kann man's ja immer noch mit den Versionen aus den "alten Tagen" versuchen, da die Hardware selbst noch jung war, und mit der der Hersteller selbst getestet hat.
Toitoitoi!

[LoboNr1]

Moin,
kleiner Zwischenstand:
Die Verbindung vom ServerView Raid Manager hat bis heute früh um 7:34 Uhr gehalten. Das letzte mal ist die Verbindung 2 Tage vorher um 7:43 Uhr abgebrochen. Ist das Zufall? Immer gegen 7:30???

Abgesehen davon finde ich die Idee mit dem iRMC und dem SMTP Forwarder echt gut. Nur finde ich keinen "SMTP Forwarder" Könnt ihr mir einen empfehlen?

[JustMe]

Moin zurueck,
zum "SMTP Forwarder" kann ich leider nichts schreiben; da musst Du auf irix warten.
(Trotzdem die Idee an sich gut ist, bezweifel ich auch, dass Du mit Deinem iRMCs3 Plattenprobleme von diesem gemailt bekommen wirst.)

Aber zum Zeitpunkt des Verbindungsabbruchs zwischen SV-RAID und ESXi-CIM-Provider muesste man erst einmal schauen, wie oft denn der SV-RAID in der Win2019-VM ueberhaupt den Host abfragt... denn erst dann erkennt er ja, dass er nichts mehr erkennt. Eine moegliche aktive Signalisierung kommt ja nicht infrage, weil eben die Verbindung wech ist.

Uebrigens stand in der weiter oben schon erwaehnten ReadMe von FTS in frueheren Zeiten (bzw. frueheren Versionen) noch die Empfehlung drin, den CIM-Server des ESXi-Hosts mindestens 1x taeglich automatisiert neu zu starten.

Wenn mal wieder die Verbindung abgebrochen ist, kannst Du ja auch auf der ESXi-Commandline mal pruefen, ob die Kommunikation Controller->Treiber->CIM-Provider noch geht, oder dort schon ein Problem besteht. Im FTS-Custom-Image sollte ja MegaCLI (bzw. storcli) mitinstalliert worden sein.

[LoboNr1]

Also einen SMTP-Forwarder habe ich inzwischen. Die Lösung war so nah.... Der Windows Server 2019 verfügt über einen SMTP-Server der nichts anderes ist als ein Forwarder. Doch dummerweise finde ich im iRMC keinen "Test" Button oder so und auch die Adresse an die eine Fehlermeldung geht ist nicht klar definiert

Das mit der Readme und dem neustart des CIM-Server klingt interessant. Wie kann ich das einstellen? Im CIM-Server selber kannst du ja nur einstellen wie er starten und stoppen soll. Aber einen Taskplaner oder sowas habe ich bisher nicht gefunden.

Beim Thema prüfen per ESXi-Commandline muss ich leider die "Kein Plan" Fahne schwenken. Wie soll das gehen? So tief bin ich leider nicht im ESXi Thema drin

[irix]

...
Beim Thema prüfen per ESXi-Commandline muss ich leider die "Kein Plan" Fahne schwenken. Wie soll das gehen? So tief bin ich leider nicht im ESXi Thema drin

Es sollte

Code: Alles auswählen

/etc/init.d/sfcbd-watchdog restart

tun.

Gruss
Joerg

[JustMe]

Den Hinweis im Readme findest Du bspw. noch zu 6.0u3 (Seite 15 of 24, "Management problems with ESXi CIM Providers"), mit dem Befehl, den irix bereits nannte. (Auf derselben Website findest Du uebrigens auch das ReadMe zu Deinem 6.7u1. Dass der TX140S1p dort in den ReadMes nicht erwaehnt ist, war ja schon angesprochen worden )
Der ESXi ist zwar kein Unix/Linux, aber in einzelnen Bereichen aehnlich. So hat er z.B. auch eine crontab, vergleichbar dem Windows-Taskplaner. Damit die Eintragungen dort auch Reboot-persistent bleiben, kannst Du hier im Forum schauen, oder auch auf den einschlaegigen Seiten (ich meine W. Lam hatte das beschrieben...)
Das Pruefen auf der Kommandozeile per storcli (das eine help-Seite bietet) ist jetzt nicht so "direkt" mit einem bestimmten Parameter anwaehlbar, sondern ergibt sich halt aus der Schritt-fuer-Schritt-Methode: Wenn SV-RAID wieder die Verbindung verlor, schaust Du mal mit storcli, ob der z.B. das Controller-Log noch auslesen kann. Wenn das geht, liegt der Fehler "weiter auf dem Weg", und man robbt sich so durch die Komponenten...

Ach, halt, kleiner Nachtrag:
Das Handbuch zum iRMC s2/s3 beschreibt ab Kapitel 7.13.3 - E-Mail Benachrichtigung- Lokale E-Mail-Benachrichtigung konfigurieren (Seite 265 von 446 ff.) die Parameter. Vielleicht hilft das ja schon weiter.
Und PS:
Das mit dem "weiss was man tut" nehme ich zurueck! Du hast Dich ja hier tatsaechlich 3 Tage VOR mir registriert

[irix]

Evlt. auch von Remote mittels Plink/PSCP ein Kommando absetzen.

Gruss
Joerg

[LoboNr1]

Es sollte

Code: Alles auswählen

/etc/init.d/sfcbd-watchdog restart

tun.

Hat ein bischen gedauert (die Idee) aber jetzt hat es gezündet
Das wir gebatcht

Code: Alles auswählen

@ECHO OFF

ECHO.
ECHO.
ECHO.
ECHO *** Stop ServerView RAID Manager ***
ECHO.
ECHO.
ECHO.

net stop amService

ECHO.
ECHO.
ECHO.
ECHO *** Restart sfcbd-watchdog / CIM Server ***
ECHO.
ECHO.
ECHO.

putty.exe -ssh root@192.168.X.Y -pw XXXX -m sfcbd-watchdog.txt

ECHO.
ECHO.
ECHO.
ECHO *** Start ServerView RAID Manager ***
ECHO.
ECHO.
ECHO.

net start amService

timeout 300


Code: Alles auswählen

sfcbd-watchdog.txt

/etc/init.d/sfcbd-watchdog stop

/etc/init.d/sfcbd-watchdog start


Und dann per Taskplaner täglich ausgeführt

[LoboNr1]

MIST MIST MIST!!!!

plink und Putty laufen wegen diesem sch.... YES / NO Abfrage zum SSH Key nicht im Hintergrund über den Aufgabenplaner! AAAAHHHHHHHHH

[JustMe]

Hast Du das schon probiert:

Code: Alles auswählen

echo yes | plink  -agent -pw 123 -m VMinfo.sh  root@164.99.95.65

Nicht, dass ich es selbst versucht haette...
Und: Mit was fuer einem Account laeuft Dein Taskplaner-Job?

[LoboNr1]

Lustig, wie so machen Sprüche von "von früher" doch noch immer zu treffen. Wie z.B. "Erst mal eine Nacht drüber schlafen..."

Fehler gefunden. Nix "YEY / NO". Das kann man doch per einmaliger manueller Ausführung und YES klicken erledigen. Doch beim ausführen per Aufgabenplaner hat er trotz "set path="C:\ServerView-Restart\";%path%" die "sfcbd-watchdog.txt" die im selben Ordner liegt nicht gefunden. Komisch.

Aber so gehts:

Code: Alles auswählen

@ECHO OFF

set path="C:\ServerView-Restart\";%path%

ECHO.
ECHO.
ECHO.
ECHO *** Stop ServerView RAID Manager ***
ECHO.
ECHO.
ECHO.

net stop amService

ECHO.
ECHO.
ECHO.
ECHO *** Restart sfcbd-watchdog / CIM Server ***
ECHO.
ECHO.
ECHO.

putty.exe -ssh root@192.168.0.111 -pw ES1603ez -m C:\ServerView-Restart\sfcbd-watchdog.txt

ECHO.
ECHO.
ECHO.
ECHO *** Start ServerView RAID Manager ***
ECHO.
ECHO.
ECHO.

net start amService

timeout 30


Code: Alles auswählen

/etc/init.d/sfcbd-watchdog stop

/etc/init.d/sfcbd-watchdog start


Das läuft jetzt alle 24 Stunden und dann ist das Raid überwacht. Jetzt nur noch iRMC zum mailen "überreden". Irgendwie gehen da die Mails nicht raus

[Martin]

Die PATH Variable setzt ja auch nur den Suchpfad für ausführbare Dateien und ändert nicht das aktuelle Arbeitsverzeichnis.

[irix]

Doch beim ausführen per Aufgabenplaner hat er trotz "set path="C:\ServerView-Restart\";%path%" die "sfcbd-watchdog.txt" die im selben Ordner liegt nicht gefunden. Komisch.

1. Du kannst dem Taskplaner sagen in welches Verzeichnis er wechseln soll um dein Script auszufuehren
2. Du must im Script "cd c:;cd foo/bar" verwenden. Du setzt nur deine PATH Variable

Ich habe schon laenger nicht mehr mit plink und co hantiert aber kann man nicht ein Argument ueber geben welches dann als Kommando ausgefuehrt wird? Weil du must ja nur den Dienst restarten und dast ist ein Einzeiler


Ja, putty und co will einmalig den Hostkey in die Regsitry schreiben und vergleich das dann jedesmal. Wenn der Key vom Host sich mal aendert dann wird dein Script erstmal nicht funktionieren. Man fuehrt so mit einmalig das Script von Hand aus und bestaetigt das "Yes". Im Taskplaner muss dann die Aufgabe natuerlich mit dem gleichen User ausgefuehrt werden

Ich bin mir sicher das in der iRMC ein Testbutton ist und dann guckst du in einem SMTP Relay in das Log was denn da ankommt.

Gruss
Joerg

[LoboNr1]

Der restart per Batch klappt jetzt. Danke.

Ich bin mir sicher das in der iRMC ein Testbutton ist und dann guckst du in einem SMTP Relay in das Log was denn da ankommt.

Ja, in iRMC gibt es einen Testbutton den ich nach langem suche in der Benutzerverwaltung gefunden habe. Doch leider werden keine Mails versendet

[Dayworker]

Wenn ihr nicht gerade die im Bild sichtbare Domain unter Kontrolle habt, wird kaum ein Email-Server noch unverschlüsselte Kontaktversuche annehmen. Du wirst also in einer VM entweder noch ein SSL-fähiges SMTP-Relay oder zumindest Stunnel installieren müssen.