Seite 1 von 1

Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 07.01.2017, 14:56
von jgreil
Hallo,

ich habe mir im April 2016 einen neuen Desktop Rechner mit Win 10 64 Bit zusammengestellt und diesen gut ausgestattet, da ich vor hatte neben meinen täglichen Arbeiten auch ein paar virtuelle Win 10 Maschinen drauf laufen zu lassen. Das funktionierte soweit auch sehr gut, mittlerweile sind es aber nun 9 virtuelle Maschinen unter vmware Workstation und jetzt ist der Zustand erreicht, wo die CPU Auslastung des Host-Systems fast durchgehend um die 100% beträgt.

In den virtuellen Maschinen läuft überall das gleiche Programm, welches rund um die Uhr arbeitet und etwas Rechenleistung benötigt. 1 Maschine selbst braucht nicht viel, aber hier macht es einfach die Anzahl von 9 virtuellen Maschinen parallel, denke ich. Es ist leider pro VM nur möglich eine Instanz des Programms laufen zu lassen. Jede VM benötigt 1 virtuellen Prozessor, aber mit mindestens 2 virtuellen Cores in den vmware Einstellungen, da das Programm sonst nicht einwandfrei funktioniert bzw. öfter abstürzt. RAM hab ich pro VM 4 GB vergeben, aber das ist nicht das Bottleneck.

Die Hardware meines aktuellen PCs:

CPU: Intel Core i7-6700K
RAM: 4 x G.Skill DIMM 32 GB DDR4-3200
HD: Samsung SSD 950 Pro 512 GB
Mainboard: Asus Z170 Pro Gaming

Der PC läuft wirklich sehr gut, allerdings wenn mehr als 7 oder 8 VMs gestartet sind wird es langsam. RAM sind insgesamt nur 35 GB belegt und die HD langweilt sich vermutlich.
Bottleneck ist hier nur die CPU soweit ich das erkennen kann. Jede VM braucht am Hostsystem so um die 5 bis 20 % CPU Leistung und somit sind die 100 % einfach fast dauerhaft ausgelastet.

Deshalb habe ich mich jetzt dazu entschiedenen einen ESXi Server zu erstellen und die ganzen VMs weg von meinem Desktop PC auf den neuen Server bringe und dort laufen lasse. Als Budget habe ich so um die 2.500 € anvisiert. Bei diesem Budget wird kein extremer Server möglich sein, allerdings sollte noch etwas Spielraum nach oben bleiben, falls noch ein paar VMs dazukommen würden in Zukunft.

Jetzt bräuchte ich bitte eure Hilfe...
Ich hätte mir mal diese Komponenten für den ESXi Server zusammengesucht. Was sagt ihr dazu? Macht das so Sinn, oder würdet ihr was ändern?

CPU: 2 x Intel Xeon E5-2620 v4, 8x 2,10 GHz (gesamt ca. 940 €)
Mainboard: Asus Z10PA-D8 (ca. 350 €)
RAM: 8 x Crucial DIMM 8GB, DDR4-2133, reg ECC (CT8G4RFD8213) (gesamt ca. 500 €)
HD: Samsung SSD 960 Evo oder Pro (je nach Verfügbarkeit; über PCIe Adapter, da Board angeblich kein M.2 2280 kann) (ca. 240 - 340 €)
Netzteil: be quiet! Dark Power Pro 11 650 Watt (ca. 160 €)
CPU Lüfter: 2 x Arctic Freezer i11 (gesamt ca. 40 €)
Gehäuse: Fractal Design Define R5 (ca. 100 €)
Gesamtkosten momentan rund 2.300 €

Ist mein Gedanke richtig, dass man 8 RAM-Bausteine verwenden soll, da ja der E5 Xeon jeweils 4 Speicherkanäle hat? Ich habe diesen Speicher angedacht, da es der einzige 8 GB Riegel in der QVL von Asus ist, welcher 2 Ranks hat.
Link zur QVL vom Asus Z10PA-D8: http://dlcdnet.asus.com/pub/ASUS/mb/Soc ... 1483983181
Wisst ihr zufällig, warum manche Einträge in der Liste von Asus gelb markiert sind?

Ich hätte auch passende Mainboards von Intel, Supermicro und Asus gefunden, allerdings kosten die alle eher 500 Euro aufwärts und ich konnte keine wirklichen Vorteile für mich bei diesen Modellen erkennen. Ich brauche eigentlich nicht extrem viel Erweiterungsslots und auch nicht so extrem viel RAM.

Was sagt ihr zu der Zusammenstellung? Macht das Sinn, oder würdet ihr was ändern oder ganz anders machen?

Ich wäre für eure Hilfe, Vorschläge und Tipps wirklich sehr dankbar!

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 07.01.2017, 22:12
von Dayworker
In der vollvirtualisierten VMware-Welt gilt die Devise: "Nur soviel (vCPU, vRAM, vDISK) wie nötig und nicht wie möglich."
Mit 4GB vRAM pro VM legt VMware für jede startende VM eine vmem-Datei gleicher Grösse auf dem Host-Datenträger ab und behält von deinen 4GB vRAM höchstens 400-500MB wirklich im pRAM des Hosts. Der Rest wandert unausweichlich in den virtuellen Arbeitsspeicher des Hosts, sprich in die virtuelle Auslagerungsdatei bei Windows-Host oder die Swap-Partition bei Linux-Hosts. Die früher möglichen und daher üblicherweise auch eingesetzten manuellen Tuningmaßnahmen greifen seit mehreren Desktopprodukt-Versionen von VMware entweder nur teilweise oder auch überhaupt nicht mehr. Die Erstellung der vmem-Datei läßt sich jedoch auch heute noch unterdrücken. Der Parameter dafür befindet sich jedoch seit einigen Versionen im Wandel, sollte sich aber über die Suchmaschine deiner Wahl finden lassen.

Du hast bisher eine Quad-CPU mit nur 65W TDP im Einsatz, die samt deinen restlichen Komponenten bei 100W Volllast-Verbrauch liegen und bei Leerlauf auch mit 15W auskommen dürfte. Deine angedachten Server-CPU steht dagegen mit 85W TDP im Buche und davon willst du 2 verbauen. Server-CPUs ziehen aber meist bereits 40-50W im Leerlauf und dazu kommt der nicht sonderlich sparsame Chipsatz samt RAM mit gleichfalls 40-50W hinzu. Bist du wirklich bereit, allein für den im Leerlauf befindlichen Server im Vergleich zu deinem jetzigen System die 8fache Menge Energie zu verbrauchen?

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 07.01.2017, 22:48
von jgreil
Welche Alternative hätte ich denn sonst um alle VMs Laufen lassen zu können und auch mein PC noch verwendbbar bleibt?

Ich versteh deine Rechnung irgendwie nicht (bin aber auch Neuling auf dem Gebiet). Beim i7 6700 steht TDP 91 Watt und zukünftig beim E5-2620 v4 wären es 2 x TDP 85 Watt, wobei der zukünftige Server vermutlich ja nicht so stark wie der jetzige Desktop mit fast durchgehend 100% ausgelastet sein wird. Deshalb versteh ich nicht, warum der 8 mal so viel Energie benötigen soll.

Danke auch zu deinen Exkurs zu vRAM, aber ich verstehe nicht, was mir das bringen soll. Mit dem RAM habe ich eh keine Probleme und genug davon. Ich hb 4 GB pro VM vergeben, da das der Hersteller der Software so vorgeschrieben hat.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 07.01.2017, 23:19
von Dayworker
Du hast geschrieben, daß du den Intel Core i7-6700 ohne Buchstaben einsetzt und der hat nun mal 65W TDP. Wenn du 91W TDP hast, kannst du nur die OC-Version namens Intel Core i7-6700K im Einsatz haben. Unter Volllast dürfte dein System mit K-CPU und fettem Z170-Chipsatz um die 120W Energie benötigen. Mit den beiden Server-CPUs nuckelst du diese Summe dagegen bereits im Leerlauf aus der Steckdose und die 8-fache Energie bezog sich auf die 65W Desktop-CPU. Diese zieht typischerweise als Gesamtsystem um 15W im Leerlauf.

Die VMware-Desktopprodukte lagern sämtlichen vRAM ab einer versionsabhängigen Grösse immer in den virtuellen Arbeitsspeicher des Host aus. Startest du eine Anwendung im Gast-OS und diese braucht meinetwegen 2GB RAM, fragt die Anwendung das Gast-OS und damit am Ende bei VMware nach 2GB RAM an. Da die VMware-Desktopprodukte den vRAM aber fast komplett in den virtuellen Arbeitsspeicher des Hosts, sprich den Host-Datenträger, auslagern, wird die Performance in der VM fast nur noch von der Geschwindigkeit des Hostdatenträgers bestimmt. Denn die 2GB vRAM müssen erst mal wieder in den pRAM des Hosts geladen und an die VM durchgereicht werden. Hohe IO-Performance gibt es aber auch bei SSDs nicht ohne entsprechende CPU-Auslastung und wenn der Host bzw das Host-OS die CPU benötigt, erhält dieser immer Vorrang vor allen anderen Anwendungen. Da jedoch VMware im Hintergrund weiterläuft und ebenfalls CPU-Leistung anfragt, sinkt die Gesamtsystemperformance dadurch gewaltig und der Host läuft auf Volllast.
Mit steigender, gleichzeitig laufender VM-Anzahl steigen also sowohl die CPU- als auch die Datenträger-Grundlast entschieden an und allein die Verwaltung aller laufenden VMs sorgt für eine gestiegene Grundlast, ohne das in einer VM auch nur eine Anwendung ausgeführt wird. Kläre daher doch erstmal ab, wieviel CPU-Kerne du wirklich brauchst. Sogenanntes Überbuchen an CPU-Kernen ist völlig normal und vielleicht kommst du auch mit nur einer Server-CPU aus.


[add]
Die Desktop-Produkte können bedingt durch das Host-OS (Linux, Windows) höchstens 75% der Systemperformance ausnutzen, den Rest schluckt immer das Host-OS. Beim ESXi sind dagegen bis zu 95% der Systemleistung in einer VM möglich, da die "busybox" wesentlich Systemressourcen benötigt.


[add2]
Der ESXi ist kein PC im herkömmlichen Sinne. Versteh den ESXi als Firmware, die nur auf bestimmter, zertifizierter HW wirklich stabil läuft. Deine Server-CPU wird sicher laufen, aber ob das MB auch problemlos mit dem ESXi zusammenspielt, muß du selbst auf der VMware-HCL recherchieren.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 08.01.2017, 02:17
von jgreil
Entschuldigung, das war natürlich mein Fehler. Ich hab das K im ersten Post vergessen :oops:
Es ist ein i7-6700K im aktuellen Desktop PC.

Der Desktop ist wie gesagt nie im Leerlauf sondern so gut wie immer unter 100% Volllast momentan, deshalb will ich ja was ändern. Wenn das neue Dual System dann nicht mehr so extrem ausgelastet ist, wird es beim Stromverbrauch vermutlich auch nicht so extrem viel mehr sein, oder?

Danke für die Erklärung mit den vmware Desktopprodukten, das klingt sehr interessant und wusste ich bisher nicht. Das spricht also dafür, dass der ESXi dann zukünftig meine VMs locker laufen lassen kann und auch noch viel Leistung für weitere VMs frei bleibt, wenn ich das richtig verstanden habe :grin:

Bzgl. Mainboard Kompatibilität habe ich dieses Bild erhalten. Da wird ein Asus Server als zertifiziert gelistet, welcher dieses Mainboard verbaut hat, müsste also passen, oder?

Bild

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 08.01.2017, 03:16
von jgreil
Was mich an deiner Desktop-Vmware-Produkte-Theorie jetzt aber wundert ist folgendes:

Ich habe meinen PC neugestartet und es sind keine Programme offen. vmware Workstation ist auch noch nicht geöffnet. Die CPU Auslastung liegt zwischen 0 und max. 2% über mehrere Minuten.
Anschließend starte ich vmware Workstation und fahre alle 9 Stück Windows 10 VMs hoch. Die CPU Auslastung des Hosts geht beim Starten der VMs natürlich in die Höhe, kurz darauf geht sie aber zurück auf max. 2% und bleibt auch dort. Es ist also so gut wie nicht spürbar (vielleicht messbar), dass alle VMs hochgefahren sind.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 08.01.2017, 16:40
von Dayworker
Das ist keine Theorie sondern Realität. Hinsichtlich der vRAM-Auslagerung muß man sogar sagen, leider, denn die heutzutage verbauten RAM-Grössen gestatten wesentlich mehr laufende VMs als noch vor 5 oder sogar 10 Jahren und HW-Virtualisierung ist zudem in jeder aktuellen CPU als Feature dabei. Das senkt zudem die Last auf der CPU, da dem Virtualisierer einige vorher in SW abzuwickelnde Arbeit durch die CPU-HW abgenommen wird und sich dadurch sogar noch mehr VMs gleichzeitig ausführen lassen würden. VMware hat aber leider mehr Augenmerk auf eine leichte Ausführbarkeit von verschiedensten Gast-OS gelegt, als deren möglichst performante bzw gleichzeitige Ausführung und ab einer geweissen, von VMware leider nicht schriftlich festgehaltenen VM-Anzahl, sehen sie sowieso den ESXi als einzigste Lösung an. Das ganze Marketing-Gewäsch mit bis zu 64GB vRAM oder 16 vCPUs jeweils pro VM auf den aktuellen Desktopprodukten dient nur dazu, keine Kunden zu verlieren, weil sie irgendwelche absolut unsinnigen Features nicht anbieten. Jeder der mal sein VMware-Desktopprodukt mit einer VM mit 16GB vRAM oder mehr als 4 vCPUs ausgestattet hat, wundert sich über die lahme Reaktion im Gast und auch des Hostes...


Sind in den VMs irgendwelche Energiespareinstellungen aktiv?
In einer VM kannst du diese bis auf eine komplett abschalten, da daß Gast-OS nur die vCPU-Anzahl sieht und keine Ahnung über die Auslastung der anderen CPU-Kerne hat. Wenn die eine VM daher aktiv die CPU abbremst, weil sie die gesamte CPU im Leerlauf wähnt, verlangsamt sie dadurch auch das Gesamtsystem und das ist Murks. Die einzigste wirklich sinvolle, weil die Systemperformance nicht beeinflussende Energiespareinstellung, ist den Monitor nach einer Zeit X abzuschalten.


PS: Dein Link ins Hardwareluxx-Forum ist nur sichtbar, wenn man dort ebenfalls angemeldet ist.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 08.01.2017, 17:57
von Supi
Mal von deiner Software abgesehen ( Win 10 10x virtuell kostet ja auch was), schon mal über gebrauchte HW nachgedacht?

Nur bei Ebay Suche mal den hier gefunden:
http://www.ebay.de/itm/Dell-PowerEdge-R ... SwJQdW8ozW

komme da wenn der Konfigurator richtig rechnet mit 671€ auf folgende Ausstattung:
2x L5640 (6core mit HT)
48GB Ram
Dell H700 mit Batterie
6x 146GB 10K SAS HDD als R-10 für die VM's und den ESXi

Das erschien mir jetzt Budget-Seitig günstig.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 09.01.2017, 18:44
von jgreil
Dayworker hat geschrieben:Sind in den VMs irgendwelche Energiespareinstellungen aktiv?
In einer VM kannst du diese bis auf eine komplett abschalten, da daß Gast-OS nur die vCPU-Anzahl sieht und keine Ahnung über die Auslastung der anderen CPU-Kerne hat. Wenn die eine VM daher aktiv die CPU abbremst, weil sie die gesamte CPU im Leerlauf wähnt, verlangsamt sie dadurch auch das Gesamtsystem und das ist Murks. Die einzigste wirklich sinvolle, weil die Systemperformance nicht beeinflussende Energiespareinstellung, ist den Monitor nach einer Zeit X abzuschalten.


PS: Dein Link ins Hardwareluxx-Forum ist nur sichtbar, wenn man dort ebenfalls angemeldet ist.

Danke für die Erklärungen :)
Soll man im Gast-OS unter Win10 dann einfach den Energiesparplan "Höchstleistung" auswählen und gut ist es? Oder gibts eine bessere Einstellung?
Obwohl ich mal stark davon ausgehe, dass vmware so intelligent ist und nur die vCPU vom Gast-OS abbremsen läßt. Ich denke mal nicht, dass vmware von einem einzigen Gast-OS eine komplette reale CPU abbremsen läßt.

Wo habe ich ins Hardwareluss Forum verlinkt?

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 09.01.2017, 21:51
von Dayworker
Ja, aber Präsentation reicht eigentlich auch aus. Jein, VMware kann nicht so intelligent sein, da es den geringen, aber falschen Bedarf nur an das Host-OS meldet und dieses dann die Energiesparmodi aktiviert. Du kannst also mit einer unbedachten Gast-Einstellung dem Host-OS vorgaukeln, daß nur wenig Performance gebraucht wird. Daher, einfach Energiespareinstellungen aus und nur "Monitor nach Zeit X" einschalten.

Du hast dein Mainboard nach http://www.hardwareluxx.de/community/attachments/f242/386949d1483779806-hardware-fuer-esxi-server-dieser-form-empfehlenswert-asusvmware.png verlinkt und ohne Anmeldung sehen wir das Bild nicht.

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 30.01.2017, 19:53
von jgreil
Nochmal zu deinen Behauptungen zum Energieverbrauch... Also da das System ja jetzt läuft, kann ich dazu ein paar Infos geben.

Verbräuche
PC Leerlauf unter Windows: ~25 Watt
Server Leerlauf ESXi: ~45 Watt

PC mit 9 VMs (fast durchgehend 100% CPU Last): 120 bis 130 Watt
Server mit 9 VMs (gut 40% CPU Last): 110 bis 120 Watt

Auch wenn ich mich im ersten Post ursprünglich bei der PC CPU verschrieben habe, lagst du ja mit deinen Verbrauchs-Behauptungen doch mehr als deutlich daneben :roll:

Re: Hardware für ESXi Server in dieser Form empfehlenswert?

Verfasst: 30.01.2017, 21:03
von Dayworker
Freut mich, daß ich mit meinen Verbrauchswerten doch zu hoch gelegen hatte.
Die 45W für ein gut ausgestattetes Dualsocket-Serverboard sind doch ein Superwert, viel weniger habe ich mit meinem Singlesocket-Server auf IvyBridge-Basis auch nicht. Fraglich in meinen Augen ist der mit 25W doch ziemlich hohe Leerlaufwert deines Desktops. Nicht erst seit Desktop-Haswell sind dort Leerlaufverbräuche zwischen 10-15W drin. Daran siehst du aber auch, wie stark die MB-Ausstattung, Treiber oder OS den Verbrauch beeinflussen und mit geschätzten 120W des Desktops unter Last lag ich doch nicht so viel daneben.
Bezüglich des Server-Lastverbrauchs ging ich nur rein von den CPU-Daten plus Peripherie aus. Wenn die CPUs jedoch nur noch zu 40% gefordert werden, sinkt natürlich auch der Energieverbrauch deutlich. Die genaue Auslastung war jedoch für uns beide nicht vorhersehbar und konnte daher nur grob geschätzt werden. Da jedoch erfahrungsgemäß die Anzahl gleichzeitig laufender VMs eher ansteigt, man kann ja mal schnell was in einer VM ausprobieren, verändert sich damit auch der zukünftige Lastverbrauch. ;)

Für mich bedeutet das jedoch auch, daß ich je nach CPU-Generation bei den Server-CPUs deutlich tiefer mit meinen Schätzungen rangehen kann. Unabhängig davon finde ich es schon erstaunlich, wie stark sich der Energieverbrauch verringert bzw die Effizienz zugenommen hat.