[solved] 6.5 startet sich häufig neu

[noviceiii]

Guten Tag miteinander

Da plagt mit ein Problem, dessen Lösung ich nicht auf die Spur komme.
Ich hatte einige Jahre als Linux Admin gearbeitet, brauche aber ESXi erst seit November. Ich mag ESX aber schon sehr! Tolles Produkt!

Mein ESXi Server rebootet sich leider in unregelmässigen Abständen ständig neu. Kein Shutdown sonder, zack weg. Manchmal nach 1 Minute, manchmal nach 4 Stunden. Aber immer wieder. Virtuelle Machinen hat es nur eine: eine Sophos UTM Firewall. In den Logs dmesg und syslog fand ich bisher noch nichts schlaues.

Hardware:
- Das Mainboard hat zwei OnBoard Netzwerkanschlüsse.
Eine Anschluss ist im öffentlichen Netz, der andere im internen Netz.
- Core i7
- 16 Gig RAM

Details zum Mainboard http://www.gigabyte.com/products/product-page.aspx?pid=5552#sp:

Es fällt auf, dass ESXi 6.5 die Netzwerkanschlüsse komischerweise als zwei unterschiedliche Karten erkennt.
Einmal als NE1000 mit 1000mbit/Vollduplex und einmal als IGBN 100mbit/Vollduplex.

Unter ESX 6.0 wurden die Netzwerkanschlüsse nicht erkannt - erst mit 6.5 gings.

Analyse soweit:
Ein Problem mit der Wärme liegt nahe. Allerdings fand ich bis anhin keine Anzeichen dazu. CPU, RAM und Netzteil blieben unter 40° C bis anhin. Bei der händischen Prüfung ist die Northbridge das wärmste - und selbst die kann man gut anfassen.
Ich möchte ein Wärmeproblem nicht komplett ausschliessen und werde dazu auch noch dediziert Tests mit der CPU fahren. Momentan hab ich den Fokus nicht mehr da.

Verdacht/ Frage:
Mein momentaner Verdacht liegt bei den Netzwerkkarten. Es scheint - mir zumindest - seltsam, dass zwei unterschiedliche Treiber verwendet werden. Ich halte es für denkbar, dass Portscans (o. ä.) auf der Netzwerkkarte den ESXi zum Neustart bringen.
Gibt das da vielleicht ähnliche Erfahrungen?

Ansonsten bin ich für jede Idee offen.
Auch ob und wie ein ggf. erweitertes Logging möglich ist.

Liebe Grüsse
Oliver

[Supi]

Wenn da nicht mehr wie die eine VM läuft:

a) erst mal zurück auf ESXi 6.0
b) NIC-Treiber "hinzufügen"
http://blog.kihltech.com/2014/01/how-to ... i-5-5-iso/
https://www.v-front.de/2014/12/how-to-m ... -work.html

[~thc]

Hallo.

Es hilft dir vielleicht, ESXi nicht als OS, sondern als "Firmware" für zertifizierte Hardware zu betrachten. Hier im VMware System Search:
http://www.vmware.com/resources/compatibility/search.php?deviceCategory=server
findest du für 6.5 kein einziges Gigabyte-Produkt gelistet.

Du versuchst daher, einen "Whitebox"-Server zum Laufen zu bringen.
https://www.v-front.de/2016/11/esxi-65-release-notes-for-free-license.html
Mit der Hardware bist du aber leider komplett auf Try-and-Error angewiesen. Dabei kann auch herauskommen, dass es mit deinem Mainboard nicht funktioniert...

Das die zwei GB-Netzwerkchips verschiedene sind, ist an sich nichts Ungewöhnliches - auch bei Systemen, die auf der HCL stehen, gibt es solche (zwei identische Chips) und solche (zwei verschiedene). Das dann unter Umständen zwei Treiber zum Einsatz kommen, ist normal.

Wenn du unter einem anderen OS Hardware-Fehler (vor allem Netzteil und RAM) ausschließen kannst, wird es wohl mit ESXi bei dir nix...

[noviceiii]

Vielen Dank soweit für die tolle Unterstützung.
Ich bin hier inzwischen mit den Hardware-Tests durch. Immerhin kam ein Fehler am CPU-Lüfter zu Tage. Der ist inzwischen getauscht.
Brachte keine Abhilfe (nun, der PC ist lauter ) - startet noch immer in unregelmässigen Abständen neu.

Ich werde noch einige Versuche mit den Netzwerk-Chips machen. Dass die verschieden angesprochen werden scheint mir irgendwie doch seltsam. Ich traue den Herstellern auch nicht unbedingt zu, dass sie in der Preisklasse verschiedene LAN Chips verbauen... wie auch immer, ich grab da noch rum.

Dann guck ich mir Stefans Tipp mit dem Downgrade und der händischen Installation der Treiber an.
So long, ich lass euch die Ergebnisse wissen.

Gibt es noch eine gute Möglichkeit, die Logs persistent zu haben?
Hier vor allem Syslog, Kernel.

Grüsse
Oliver

p.s
Der Hinweis, ESXi als Firmware zu betrachten ist gut!... ändert die Denkhaltung nachhaltig

[JustMe]

Dann fang' doch einfach mal hiermit an (System logs are stored on non-persistent storage).

Damit kannst Du Dir dann die vmkernel.log anschauen. Und mit Generating a VMkernel zdump manually from a dump file in ESXi host schauen, ob's vielleicht entsprechende Dumpinformationen gibt.

Weiterhin sollte Dir als mehrjaehriger Linux-Admin der Befehl lspci nicht unbekannt sein. Damit schaust Du mal, was denn fuer Netzwerkgeraete angezeigt werden. Sollten die unterschiedliche PCI-IDs bzgl. Vendor/Device aufweisen, waere geklaert, wieso unterschiedliche Treiber angezeigt werden.

Meiner persoenlichen Meinung nach ist das ueberhaupt nicht unwahrscheinlich, denn einer der beiden LAN-Ports wird vmtl. der sein, der im H170-Chipsatz bereits enthalten ist, und der zweite kommt eben ueber einen zusaetzlichen PCIe-Chip. Die Gigabyte-Website ist ja leider bekannt "unspezifisch" in dieser Hinsicht .

[~thc]

Ich werde noch einige Versuche mit den Netzwerk-Chips machen. Dass die verschieden angesprochen werden scheint mir irgendwie doch seltsam. Ich traue den Herstellern auch nicht unbedingt zu, dass sie in der Preisklasse verschiedene LAN Chips verbauen... wie auch immer, ich grab da noch rum.

Das kannst du tun - aber du kannst uns auch einfach glauben und deine Energie in produktivere Richtungen lenken.

Nochmal: Es ist seit vielen Jahren üblich, mehrere Netzwerkchips zu verbauen - zum Teil sogar mit verschiedener Bus-Anbindung (PCI/PCIe). Genau so wie zwei gleiche zu verbauen.

[noviceiii]

Hallo miteinander

Vielen Dank soweit für die tolle Unterstützung.
Ich konnte - nach langer Analyse - die Ursache beheben.

Es lag am i7 in der Kombination mit dem Mainboard. Offenbar meldet diese Generation der CPUs ihre V-Core nicht an das Mainboard.
Je nach Mainboard-Hersteller wird ein hoher (z.B. Asus) oder ein tiefer Wert (z.B. Gigabyte) angenommen. Beim verwendeten Gigabyte Mainboard waren es 0.95 Volt.

Ich habe die V-Core auf händisch auf 1.2 Volt gesetzt. Das Resultat ist ein stabiles System. Interessanterweise hat sich auch das Problem mit der zu langsamen Netzwerkkarte erledigt.

Ich kann die erwähnten Komponenten also mit gutem Gewissen empfehlen für ESXi 6.5 (Patch Stand April 2017) als schnelles, günstiges Home-System. Das nächste Mal würde ich einzig mehr RAM reinstecken. Viel mehr. Unglaublich viel mehr.

Die Installation dauerte nun zwar länger als erwartet Insgesamt war es aber ein spannender Ausflug und Know-How Aufbau in eine für mich neue Thematik.

Grüsse
N3

[noviceiii]

"was hat er denn für Hardware?", mag man sich noch fragen

- Mainboard: GA-H170N-WIFI (Bios updaten auf mind. F21)
- RAM: HyperX Fury (2x, 16GB, DDR4-2133, DIMM 288)
- CPU: Intel Core i7 6700K BOX (LGA 1151, 4GHz, Unlocked)