Erfahrungen mit Threadripper?

[diwoma]

Hi Leute,
Ein paar Fragen, bei denen die Pro's hier wohl die Hände über dem Kopf zusammenschlagen werden, weil ich einen nicht zertifizierten Dell oder HP verwenden will.
Ich möchte einen (einfachen) Server auf Basis eines Threadrippers 1920 (12-Core) aufsetzen. Die Google-Suche hat ergeben, daß es da anfänglich einige Probleme gegeben hat, allerdings sind das ältere Nachrichten gewesen, daher erlaube ich mir zu fragen, wie es heute damit aussieht und worauf ich achten muß.
Der Server benötigt keine besonderen Eigenschaften, er soll nur mind. 2 Windows Server (DC und Exchange), ein paar Windows 10 Maschinen (Testmaschinen) und ein paar Linux-Maschinen hosten. Die Belastung selbst hält sich in Grenzen, weil das Netzwerk klein ist.
Zur Zeit habe ich eine veraltete Intel-Maschine (4-Core) mit 6.5U2 auf USB und zuwenig RAM und CPU am laufen, die soll ersetzt werden.
Die neue soll in etwa so ausgestattet sein: Threadripper 1920, 64 GB Ram, 1TB SSD und vielleicht 4TB HDD

Die Fragen sind:
- Funktioniert 6.5U2 mit Threadripper, bzw. Threadripper überhaupt?
- Ist ein bestimmtes Mainboard zu bevorzugen?
- Wäre 6.7U2 dafür besser und wenn ja, bekomme ich die 6.5-VM's einfach rein (mit kopieren auf die neue Hardware)?

Ich hoffe, es gibt diesbezüglich neue Erfahrungen.
Danke.

[MarroniJohny]

Hi

Ich stand auch vor der Wahl zwischen AMD und Intel, allerdings ist das schon mehr als ein Jahr her. Da gabs die Epyc noch nicht. Bei mir gabs dann einen E5 XEON, weil es bei Ryzen und TR einfach keine Boards mit IPMI und offiziellem ECC Support gab.

Wenn ich an Deiner Stelle wäre, würde ich also mal nach Epyc schauen, die sind für nen Server geeigneter als TR. Eventuell solltest Du auch mal im Server Forum vom Hardwareluxx nachfragen, da hat es viele User mit Selbstbauhardware.

Kopieren auf die neue Hardware kannst Du mit dem free ESXi nur über WinSCP. Ist halt langsam, aber geht. Viele Lab User setzen aus dem Grund auf geas napp-it all in one, mit durchgereichtem HBA. Da könntest Du die VM's dann bequem per SMB rüber schieben.

[diwoma]

Danke MarroniJohny,
für die schnelle Anwort.
ECC ist nicht notwendig, IPMI habe ich bisher auch nicht gebraucht, das wäre also kein Hindernis.

Kopieren auf die neue HW ist auch nicht das Problem, weil ich eine Essential Lizenz habe (in erster Linie für Backups der VM).
Aber wenn ich nur einen ESX habe, wofür dann ein VCenter?
Allerdings wollte ich die VCenter Appliance mal auf der Workstation installieren (für Erleichterung bei Updates), das hat nicht so richtig funktioniert, deshalb habe ich es aufgegeben. Werde es mal wieder probieren, wenn ich dann mit altem und neuen ESX kurzzeitig parallel fahre. Und eventuell mit Motion das Kopieren leichter über die Bühne bringe.
Bezüglich der VM's habe ich nur bei der ersten Version vom 6.7 gelesen, daß die VM's nicht kompatibel wären und man nicht so einfach in 6.7 übernehmen könnte.

Danke für den Tip mit HardwareLuxx. ich werde mich dort mal umschauen, ob es Präferenzen und NoGos für Mainboards gibt.

[MarroniJohny]

Ja, Du hattest ja jahrelang Consumerhardware (mit iGPU?), von daher musst Du das selber wissen. Ich hatte lange einen X79 Server, und musste schlussendlich noch eine dGPU im obersten x16 Port für die blöde vSphere Konsole stecken. Ich brauch jetzt noch einen kleinen Ersatzserver, dass es schnell weiter gehen kann. Aber selbst da werde ich nicht auf IPMI, vPRO oder vergleichbares verzichten, nur um den mini Server bedienen zu können allenfalls. Das ist mir mit Screen und Tastatur dann doch zu blöd. Allenfalls ein KVM Switch würd noch gehen, aber wieso nicht direkt auf Serverhardware gehen? Es wird ausserdem gemunkelt, dass in der Virtualisierung ECC nicht schlecht wär. Die aio Lösung wär recht cool, falls man nicht schon einen externen Storage hat. Da bräuchtest Du ja Deine Lizenz auch nicht auf einem standalone Server. Hast Du denn die besagte Backuplösung auch lizenziert?

Wie gesagt, eine HEDT Plattform für vSphere, ich würd mir das nie im Leben nochmals antuen wollen. Hast Du denn schon was von der genannten Hardware gekauft?

Ahja, zwischen 2016 und 2018 habe ich mich um eine MWh verbessert pro Jahr. Ich glaub, das liegt zum Teil an der neuen Serverhardware. Muah, das Consumerboard brachte ich gar nicht mit Intel Specs zum laufen. Dient jetzt beim Kumpel als Workstation. Läuft weit über allcore Turbo der Crap, aber ist ja egal.

[Dayworker]

AMD hat sich nicht so affig und undurchsichtig wie Intel hinsichtlich ECC, daß wird auf Consumer-HW sprich Ryzen unterstützt und auch genutzt. Weshalb man in virtualisierenden Systemen bei RAM-Grössen von deutlich über 16GB und einem preislichen Unterschied von 10 Euro pro Modul kein ECC einsetzt, muß jeder mit sich selbst ausmachen. Anstatt sich also für den kleinen Aufpreis überhaupt eine Möglichkeit der Feststellung eines RAM-Fehlers zu erkaufen, investiert die GHz/GByte-geblendete Masse lieber das doppelte Geld in irgendwelche sinnbefreiten OverClocking-Module.

Ich habe hier nur ein Schmalspur-KVM sprich iDRAC-express-v11, möchte das aber für die Fernabfrage zur rudimentären Systemgesundheit nicht mehr missen. Ist zwar blöd, daß das nur per CMD geht und über die Express-Version zudem sehr eingeschränkt ist, aber für die große Version fehlte mir damals entweder das Geld oder es war für meinen Einstieg-Server nicht verfügbar.
Und JA, KVM gibt es nicht zum energetischen Nullpreis, aber je nach System gehen deren 15-20W für den Aspeed-2x00 im sonstigen Leerlauf-Rauschen unter. Man kauft ja keine 12-Core-CPU mit SMT, wenn man die Kerne nicht auszunutzen gedenkt und den Komfort, falls der Server etwas abseits in Dachkammer oder Keller steht, würde ich mir inzwischen auch gönnen, obwohl der Server in der Zimmerecke werkelt. Dann müßte ich nicht wegen jeder Kleinigkeit extra NB oder PC anwerfen. IPMI und vPRO bzw alle sonstigen KVM-Lösungen erleichtern einem also das Arbeiten sehr und jeder der den Komfort erlebt hat, will ihn nie wieder missen.

[MarroniJohny]

Ja, wenn ich Ende 2011 auf @Dayworker gehört hätte, würde mein imaginärer E5 Sandy Server wohl heute noch werkeln. Ich habe damals aber auf Consumerhardware gesetzt. Hätte mir letzthin dann wohl um die 2k CHF für neues Board, CPU und Speicher sparen können. Des weiteren würde ich bei der SSD auch nicht auf Consumerhardware setzen, den Fehler habe ich ebenfalls gemacht. Ist die bald voll geschrieben, geht insbesondere die Schreibleistung in die Knie. Ich will Dir ja nichts madig reden. War nur meine Erfahrung.

O.T.: Wie ist denn das mit ECC bei Ryzen und Threadripper? Wird wohl von einigen wenigen Boards offiziell unterstützt, aber gibts denn da auch ein Log im BIOS? So was ich gesehen habe, mussten die (Windows-) Ryzen User mit irgendwelchen cmd Hacks nachschauen, obs jetzt tatsächlich läuft, das Feature? Aber woher weiss man dann, ob irgendwann Fehler zurück gegeben wurden? Und wie sieht das allgemein mit der Sensorauslesung im Hostclient aus?

[diwoma]

Hi Dayworker, MaroniJohny

Ich wollte keine Diskussion über Profi-Hardware und Self-Made-Hardware lostreten. Das man mich überzeugen will, in HW mit allen PiPaPo's zur Virtualisierung zu investieren, verstehe ich. Keiner, der mal die Vorteile des einen oder anderen Tools kennengelernt hat, wird darauf verzichten wollen.

@MaronJohny
Ja, meine Backup-Lösung ist auch lizensiert.
So wie Du es beschreibst, arbeitest Du mit Deinem Server, ich will aber mit den VM's arbeiten. Ich brauche weder irgend ein Passtrough, noch eine Spielegrafikkarte oder sonst was spezielles darin. Und die Konsole brauche ich vielleicht einmal im Jahr und das nur ungern.

@dayworker
Einige der TR4-Mainboards haben ECC-Support, aber es ist vor allem eine finanzielle Frage. Die Aussage ECC koste pro Modul nur €10.00 mehr, kann ich so nicht bestätigen, was in in diesem Sinne gefunden habe, war ein Aufschlag von mindestens 100% eines NON-ECC-Moduls. Und nein, ich interessiere mich nicht für OC, weder bei CPU noch bei RAM.

Aber noch einmal zurück zur Frage, die ich mal gestellt habe.
Anfänglich gab es ja inkompatibiltäten beim Verwebdeb von 6.5er VMS ins damals neue 6.7er. Ist das bei 6.7 U2 auch noch so? Oder soll ich bei 6.5er bleiben?

[diwoma]

Hi Dayworker, MaroniJohny,

aufgrund der Diskussion mit Euch und Euren Erfahrungen spiele ich eine "Server"-Konstruktion finanziell im Excel durch.
Ich denke da an eine AMD EPYC 7281 CPU auf einem Asus MBS AMD Socket SP3 Epyc1 was ich auf die Schnelle gefunden habe.
Zumindest ESS und IPMI sind vorhanden.

Aber was macht ihr mit dem vPRO (Intel?), was ist und kann das und gibts das auch für AMD?

Und kann mir jemand schreiben, ob man die 6.5-VM's ohne Probleme in eine 6.7 Umgebung kopieren kann und verwenden kann?

[MarroniJohny]

Hi

Gute Entscheidung, das wenigstens mal durchzurechnen!

Kannst Du das Board mal verlinken? vPRO wäre im Intel Bereich eine abgespeckte Version vom IPMI. Das gibts bei AMD nicht, brauchst Du auch nicht, so fern Du IPMI hast. Das sind Techniken zur Fernwartung vom System. Ich habe auch ein ASUS Board, und musste noch eine kleine Expansionskarte für IPMI dazu stecken. Damit ersparst Du Dir eine zusätzliche GPU nur für die vSphere Konsole, und kannst den Server headless über Netzwerk bedienen.

Du kannst Dir sonst auch mal die Supermicro Boards anschauen. z.B. das hier:

https://www.supermicro.com/Aplus/mother ... 1SSL-i.cfm

Das wär auch ATX, kriegst Du also in einem "normalen" Tower unter. Frag aber mal im Hardwareluxx nach, da hat es User mit selbstbau EPYC Hardware. Ich bin auch kein Profi, und im Moment bin ich gerade auf der von hörensagen Schiene. Eine klare Empfehlung für diese oder jene Hardware werde ich also nicht abgeben können. Allenfalls auf die HCL von vmware kann ich Dich verweisen. Wobei einzelne Boards sind da glaub ich nicht mehr drin.

https://www.hardwareluxx.de/community/f101/

https://www.vmware.com/resources/compat ... search.php

Des weiteren würde ich mir noch mal überlegen, ob Du wirklich so einen riesen Hobel brauchst. Deine Anforderungen sind ja überschaubar. Ich habe einen Sixcore, mit dem kann man schon sehr viel anstellen. Wenns ein EPYC werden soll, brauchst Du REG ECC Module.

Gruss

[diwoma]

Hi MarroniJohny,

Es gibt eine IPMI-Karte?
Das ist ja schon ein Anfang um die Überlegungen vom EPYC runter wieder in normale Bahnen zu lenken.
Kaufen, Reinstecken und ESX starten und er erkennt sie?

Mehr Probleme machen mir die Preise des ECC-Ram, die sind drei mal so teuer wie Rams ohne ECC.
Und beim Epyc mit seinem 8 Channel Ram-Bus müsste ich zur besten Performance 8 Module verwenden. Das steigert den Preis exponentiell.
4 x 16GB Non-ECC um die € 300.00 gegen 4 x 16GB ECC um die € 800.00.
Während 2 x 32GB REG-ECC nur um die € 350.00 kosten, aber der Threadripper hat eben keinen Dual-Channel-Rambus mehr.

Ich finde, es ist kein Riesenhobel, zumindest mit Teilen des Consumer-Bereiches ist der Preis nicht soviel höher wie für einen Six-Kerner.

[MarroniJohny]

Hi

Ja, ich habe eine IPMI Karte. Das ist aber keine PCIe Karte. Die kann man auch nicht bei einem normalen Consumer Board stecken. Die hat nix mit dem ESXi zu tun, die ist tiefer im System. Die gibt die Serverkonsole aus, man kann ISO's, USB Sticks oder Platten durchreichen, ins BIOS, den Bootvorgang überwachen, Sensoren auslesen und so.

[diwoma]

Tja, die Konsole würde ich im Moment nicht brauchen, da ich zwischen Office-Rechner und ESX-Server über Hardware-KVM umschalten kann.
Aber die Übergabe der Temperatur-Daten und so weiter ist schon interessant.

[MarroniJohny]

Wie gesagt, eine HEDT Plattform für vSphere, ich würd mir das nie im Leben nochmals antuen wollen. Hast Du denn schon was von der genannten Hardware gekauft?

Ahja, zwischen 2016 und 2018 habe ich mich um eine MWh verbessert pro Jahr. Ich glaub, das liegt zum Teil an der neuen Serverhardware. Muah, das Consumerboard brachte ich gar nicht mit Intel Specs zum laufen. Dient jetzt beim Kumpel als Workstation. Läuft weit über allcore Turbo der Crap, aber ist ja egal.

Naja. Du weisst aber schon, dass der TR keine iGPU hat? Sprich, Du wirst da eine GPU mit stecken müssen. Zumindest wenn Du vSphere mal updatest oder ins BIOS willst. Und es soll ja auch Boards geben, die gar nicht durch booten ohne GPU.

[diwoma]

Nein, wusste ich nicht. Aber es war sowieso eine einfache Zotac mit eingeplant.

Nun, ich hatte noch nie echte Server-Hardware, sondern immer alte Büro-Rechner-Hardware für meine ESX (eh nur zwei Hardware-Wechsel in den letzten 10 Jahren).

Ich bin stark am überlegen, ob ich mir noch für die nächsten 5 Jahre teure Server-HW zulegen soll, oder ob ich doch wieder in eine Consumer-HW investieren soll. Natürlich hätte mir der EPYC und IPMI gefallen, aber ECC mit diesen Auswirkungen nicht mehr.
Und der XEON-CPU ist ja fast doppelt so teuer.

Nachdem ich in anderen Foren gelesen habe, daß ESX auf zumindet 2 Boards läuft (ASUS und ASROCK) bin ich etwas entspannter.
Obwohl mein jetziger alter ESX schon mit Nachdruck meint, er wolle in den Ruhestand gehen. Ihm scheinen die sommerlichen Temperaturen im Moment nicht zu bekommen.

[MarroniJohny]

Hi

Du, es gäbe noch andere Plattformen als TR und Epyc. Vielleicht solltest Du dir auch auch mal Intel LGA 1151v2 auf C232 bzw. C236, sprich E3 XEON ansehen. Da kannst Du dann unbuffered ECC RAM bis 64GB nehmen. Und sechskern XEON. Dann gibts auch noch die XEON Silver und Gold. Ich hab da aber Null Plan von dem Allem. Wenn ich mir einen Server in Deinem Budged Rahmen suchen müsste, und somit EPYC aussen vor wäre, gäbs wahrscheinlich einen Intel, halt mit deutlich weniger CPU Leistung als der TR. Aber müsste mich auch erst drüber schlau machen. Gebrauchtkauf würde ich für mich auch nicht ausschliessen, falls möglichst die Hardwareanschaffung nicht allzuviel kosten sollte.

Für was brauchst Du eigentlich den DC und Exchange? Etwas produktiv? Würde ich mir in einem kleinen Netzwerk/Home Lab beides nicht antuen wollen, würds über Testzwecke hinaus gehen.

[diwoma]

Hi,

Ja ich kalkuliere auch mit mit einem XEON Silver 4214. Ist in der Preisklasse ähnlich de, EPYC, wenn auch 4 Kerne weniger, also in etwa meinem Erst-Versuch mit dem TR.

Warum DC und Exchange?
Tja, eine Gewohnheitsfrage.

Ich brauchte einen Exchange für meine Software-Entwicklung, und damit verbunden auch DC. Und damit habe ich mich daran gewöhnt. Und möchte dabei bleiben. Und das wird meine letzte Hardware-Investition sein, die dann für mind. 5 Jahre halten soll.