ultimatives Gaming/Server Rig - paar Fragen

[MarroniJohny]

Hi

Mein Kumpel möchte sich ein krasses Server/Gaming Rig bauen. Das ist so ein supi-dupi Tisch mit RGB, und er will wohl alles bisschen unter Wasser setzen. Der Tisch ist schon mal da. Ist wahrscheinlich völlig überdimensioniert für sein Minecraft Vorhaben, aber wir wollen ihm ja nix madig reden hier. Ich helfe da auf jeden Fall gerne ein bisschen.

https://www.digitec.ch/de/s1/product/li ... e-13112801

Erst steht mal der Server Teil an. Er will folgendes Board haben:

https://www.asrockrack.com/general/prod ... ifications

Mit nem AMD Epyc 7302, so wies aussieht.

Beim Server Teil wird voraussichtlich noch eine AiO Windows VM mit einer 1080Ti aufgesetzt, da schauen wir mal was geht.

Für den Gaming Teil soll dann wohl das Board verwendet werden, wobei das steht noch in den Sternen:

https://www.asus.com/de/Motherboards/RO ... fications/

Erst mal stellt sich die Frage nach dem Netzwerk und Storage. Da soll auf dem Server eine Endian virtualisiert werden. Ich habe dazu schon mal eine Quad Port NIC gekauft, ferner ein LSI-9211-8i der an napp-it durchgereicht wird.

Nun würde ich gerne zwischen dem Intel® X550-AT2 10 Gbit/s vom ESXi auf das Gaming Rig mit Windows mit dem Aquantia AQC111C 5G LAN eine 5 Gbit/s Direktverbindung mit Kupfer machen. Bei den Netzwerkkarten im ESXi würde ich gerne nichts durchreichen, sondern alles normal über vSphere verwalten. Sollte das gehen? Rein physikalisch, und vSphere Treiber mässig? Kann da wer Auskunft geben dazu?

Dann kann ich einem vSwitch mehrere Uplinks von der Quadport Karte geben, und diese quasi wie ein angeschlossener Switch nutzen? Oder muss ich da mehrere vSwitches machen, und die einzelnen vNICs dann der Firewall hinzufügen? Lieber wär mir die erstere Variante...

Für den napp-it Storage will er sich wohl zwei WD Gold 6TB holen. Ich habe ihm gesagt, WD Red Pro CMR würdens auch tun bei zwei Platten, aber der Preisunterschied ist grad marginal. Stellt sich noch die Frage nach der VM SSD für napp-it. Würdet Ihr da eher eine SATA SSD an den HBA hängen, oder eine NVME durchreichen probieren? Ich als helfende Hand würd ja lieber die SATA Version am HBA sehen, weil das habe ich schon gemacht... Und könnt Ihr gleich eine Server SSD empfehlen? Ich habe eine Consumer SSD drin, und die schreibt beschissener als jeder billig USB Stick. Muss nicht highend sein, nur mal zum anfangen.

Und schliesslich die Gretchenfrage: vSphere 6.7 u3 oder 7.0? Ich für meinen Teil bleib ja so lange es geht bei 6.7, aber bei meinem Kumpel da bin ich mir noch gar nicht sicher.

Gerne quatschen hier. Wir sind auf jede Info im Vorfeld dankbar.

[Dayworker]

Wenn das vom Tisch-Hersteller nicht vorgesehen ist, würde ich da garnichts unter Wasse setzen.

Hinsichtlich der 1080ti würde ich mir nur bedingt Hoffnung machen, daß sich die als AiO in einer VM durchreichen läßt. Selbst wenn ist deren Leistung seit der Veröffentlichung von nVidia's 3000er Serie inzwischen obsolet. nVidia hat mit seiner 499$-Ankündigung für die 3070 als deutlich schneller als die 2080ti sämtliche Mond-Preise für alle älteren Generationen hinweg gefegt. Klar, wenn man eine ältere Karte wie die 1080ti rumliegen hat, kann man die auch verbauen. Wie Igor so schön in seinem YouTube-Video sagte, wird sie dadurch ja nicht langsamer. Mit etwas Glück kann man vielleicht eine 2080ti zum günstigeren Tarif einkaufen. Das ändert jedoch alles nix daran, daß nVidia die Virtualisierung seiner Desktop-Karten massiv behindert.

Ob die Intel X550-AT2 auf der HCl für 6.7 und 7.0 steht, kann ich dir momentan nicht sagen. Der 7er jedenfalls unterstützt nur noch native Treiber und das ändert so einiges. Zukunftssicherer wäre daher auch bei LSI/BroadCom die Chipsätze der SAS3008er Reihe. Für die 92xx-Karten mit dem SAS2008-Chip gibt es zwar einen HCL-Eintrag für den 7er ESXi, dieser scheint jedoch falsch zu sein.

Die Gold-Modelle sind die Nachfolger der alten RE-Reihe. Die lagen damals schon bei 1 zu 10 hoch -15 als Lesefehler und sind damit um den Faktor 10 besser als die Red-Modelle. WD hat leider seine Bezeichnungen hinsichtlich SMR oder CMR nicht durchgehend korrigiert, die Red-Pro's waren meines Wissens aber sowieso alle CMR. Nur bei den Red's gab es Modelle mit beiden Aufzeichnungsverfahren, diese lassen sich aber je nach Grösse gut am Bezeichner auseinander halten. Zwischen 2-6TB will man die EFRX mit CMR haben, diese laufen inzwischen unter dem Label Red-Plus, und ab 8TB kommen auch die EFAX als CMR-Modelle daher.
Das Consumer-SSDs kein verläßlicher Partner im Serverumfeld sein können, ist nix neues. Neben Samsungs PM/SM863 gibts auch unzählige von Intel und anderen Anbietern. Ich würde in jedem Fall in eine SSD mit Powerloss-Protection investieren. Falls du schnelles synchrones Schreiben für NFS brauchst, sind Intels Optane die momentan beste/schnellste Lösung. Nappit braucht mit knapp unter 50GB nicht viel Platz. Teilt man seine 100er Optane auf, kann man Nappit auch noch ein SLOG gönnen. Das hat "gea" aber schön in seinen diversen PDF beschrieben.

[MarroniJohny]

Hi

Danke für Deine Antwort.

Wenn das vom Tisch-Hersteller nicht vorgesehen ist, würde ich da garnichts unter Wasse setzen.

Naja, ich würde auch nichts unter Wasser setzen, auch der Tisch steht bei mir nicht auf der "will haben Liste". Er will das halt so machen. Diese Kühllösung möchte er sich verbauen:

https://www.hardwareluxx.de/index.php/n ... se-an.html

Nur schon die waagerecht verbauten Boards mit dem Wasser drüber wär mir zu gefährlich und zu unhandlich. Beim Desktop Teil schielt er mittlerweile auch immer mehr zu AMD. Sprich da wird nichts gross übertaktet, von daher würden es auch Luftkühler tun.

Zu der GPU: Ja, die 1080Ti liegt noch rum, das ist eher so ein nebenher Projekt. So könnte halt z.B. mal noch ein Mädchen mitspielen. Das würde ich ja auch so machen oder antesten, wenn ich mir schon das böse Epic Board holen würde. Im Luxx hat einer gemeint, mit rumspielen in der passtrough map sollte das gehen mit der 1080Ti.

Bei den 10 Gbit/s NICs hoffe ich schwer, dass die gehen und nativ bei ESXi dabei sind. Vielleicht hat sonst wer Erfahrung mit dem X550-AT2 Controller? Und ob man den auch auf auf NBASE-T 5 Gbit/s laufen lassen kann in vSphere. Weil auf der Intel Seite steht da Linux only.

https://ark.intel.com/content/www/de/de ... 0-at2.html

Bei dem HBA den wir geschossen haben, der wird durchgereicht. Im Luxx hat wer gemeint, so in dem Mode muss er nicht supportet sein.

Auf den supporteten OS auf der Seite vom ASRock Board ist vSphere 6.7 u3 auf jeden Fall aufgeführt. Von daher habe ich mal ein gutes Bauchgefühl.

Die zwei WD Gold hat er sich auch schon geholt, die 8 TB waren grad recht günstig zu haben. SSD muss ich dann noch schauen. Ich dachte eigentlich an zwei Consumer SSD, einmal für den ESXi und einmal für den/die Filer. So habe ich es bei mir gemacht. Gea hat auch gemeint napp-it selber profitiert nicht von Server SSDs, weil da alles im RAM läuft. SLOG habe ich mich noch nicht damit befasst. Was bringt das genau?

Für die VMs gibts wohl vorerst mal eine SATA oder NVME Server SSD. NVME würde sicher Sinn machen, aber Gea meinte es sei unproblematischer am HBA. Sonst holen wir dann halt mal eine kleine NVME zum testen mit dem durchreichen. Genügend LANES sind bei dem Board und der CPU sicher vorhanden.

Zu Deinen genannten SM/PM 863: ohje, die SM sind ganz schön teuer. Haben die powerloss Protection? Die wollen für 2TB Mal eben CHF 1200.-, habe da auch nicht so verschiedene Grössen gesehen. Hat die PM powerloss protection? Blöd halt auch, dass es scheinbar von der PM nur 480 GB und 4TB gibt, von der SM nur 2 TB. Oder übersehe ich da etwas?

Was wäre mit der hier? An napp-it an einem LSI-9211-8i:

https://www.digitec.ch/de/s1/product/sa ... J8QAvD_BwE

Kann man SAS Platten auch 4 Stück an einem Port betreiben? Sprich an einem Port 4 SATA HDD, am anderen Port 4 SAS SSD? Geht das?

Sonst wirds dann arg teuer. Ich glaube nicht, dass er viel mehr ausgeben möchte, wenn das nicht nötig ist. Wusste nicht, dass Server SSD so teuer sind. Wo kann ich vergleichen/auf was muss ich achten? Digitec ist wohl nicht mehr so dasjenige welche im Server Bereich. Die haben die meisten Filter zu Enterprise Hardware entfernt. NVME Empfehlung für die VMs auch gerne gesehen.

[Dayworker]

Alle SAS2008-basierte Chipsätze werden vom 7er nicht mehr supportet, dein 9211 zählt auch dazu.
Hinsichtlich Server-SSDs mußt du mal schauen, die gibt es auch von anderen Herstellern. Die c't vom Heise-Verlag hat in ihrer aktuellen Ausgabe solche getestet.

[MarroniJohny]

Laut hier sollte sich der LSI 2008 auch unter 7.0 durchreichen lassen (ob wir mit 6.7 oder 7.0 starten, steht noch in den Sternen):

https://www.hardwareluxx.de/community/t ... t-27675383

Hier mal als Hinweis für alle, die ein Upgrade überlegen:
In ESXI 7.0 wurde wohl die Unterstützung seitens ESXI für die ganzen LSI SAS 2008 Controller rausgeschmissen.

Unter ESXI 6.7:
- ESXI Installation auf Festplatte, welche an einem IT-Mode SAS 2008 Controller angeschlossen ist, problemlos möglich
- durchreichen problemlos möglich
- Festplatten, welche an einem IT-Mode SAS 2008 Controller hängen als Datastore nutzen, problemlos möglich

Unter ESXI 7.0:
- Keine Installation mehr möglich auf einer an einem SAS 2008 angeklemmten Platte mehr möglich
- durchreichen problemlos möglich
- Festplatten, welche an einem SAS 2008 Controller hängen, können nicht als Datastore genutzt werden

Den Heise Artikel hier meinst Du?

https://www.heise.de/tests/Schnelle-SSD ... 86690.html

Konntest Du den komplett lesen? Lohnt sich der Kauf von dem Artikel?

[Dayworker]

Alle SAS2008-basierten Karten lassen sich natürlich durchreichen, aber PCI-Passthrough ist offiziell weiterhin auf wenige Karten-HW eingeschränkt. Ich finde es jedoch schon bezeichnend, daß viele SAS2008-Nutzer gerne auf eine Version vor dem 7er zurückgehen und sich damit alle Möglichkeiten offen halten.

Der Artikel ist nur knappe 2.5 Seiten lang und mit Euro-Umrechnung sicherlich zu teuer.

[MarroniJohny]

Ich denke wir starten am besten mit v7 und zwei Consumer SSD zum testen, welche dann eh für den Gaming Teil benötigt werden später. NVME mal probieren, dann sieht man, ob es Richtung HBA oder M2 geht für die VM SSD an napp-it. Weil direkt da eine teure Server SSD kaufen ist ein bisschen risikobehaftet. Aber der LSI 2008 muss gehen durchgereicht, weil da kommen sicher mal die HDD für napp-it dran. Das Board hat nur den Chipsatzcontroller. Den benötigen wir wohl für ESXi und eventuell Filer SSD. Den kann man also eher nicht durchreichen.

Würdest Du persönlich napp-it (sowie einen weiteren Filer) auf eine Optane nehmen, mit SLOG? Da erschliesst mich der Nutzen noch nicht so recht. Ich habe mir da mal das pdf von napp-it dazu angesehen. Leider blick ich da aber komplett nicht durch. Brauchen wir das mit einer SSD für VMs und zwei Platten für Backup und NAS? Das wäre einfach Schreibcache, richtig? Und wenn ja: dann eine M2 Karte?

Richtig gesichert würden da die VMs an napp-it glaube ich nur selten mal. Ist halt ein Anwendungsserver (Minecraft), da wird der Spielstand wohl in Betrieb aus dem Gast heraus gesichert. Ich nehme an, das machen wir dann über Netzwerk auf eine SMB Freigabe von napp-it. Dachte auch ich teste das erst mal bei mir. Aber anscheinend braucht das Java, da habe ich nicht so Bock drauf bei mir. Wobei er meint, das geht dann schon und mach er selber.

[Dayworker]

Ich habe mir die genaue HW jetzt nicht auf der HCL angesehen. Der 7er ist bei der HW jedoch noch wählerischer als der 6.7er und der wiederum war auch schon pingeliger als der 6.5er.

Nappit oder eine andere Appliance muß ja mit auf einem ESXi-Datenträger liegen, weil der Controller und somit auch die daran hängenden Platten durchgereicht werden. Ich habe das PDF vor geraumer Zeit durchgeblättert. Hinsichtlich SLOG würde ich eine ausreichend grosse Optane zwischen nappit und ESXi aufteilen und als SLOG eine weitere, auf der Optane liegende VMDK an nappit reichen. Eine Optane hat genügend Durchsatz, um neben dem ESXi und dem bisken nappit auch noch die synchronen Schreibvorgänge vom ZFS zu puffern. Das Solarish schreibend immer die letzten glaube 5sec Random-IO puffert, muß das SLOG auch nicht sonderlich groß sein. Die genaue Grösse steht bestimmt bei "gea" im PDF, aber ich meine 32GB sind da völlig ausreichend.
Das SLOG kann man sich sparen, wenn man auf All-Flash setzt. Das SLOG sollte in jedem Fall schneller wie die von ZFS verwalteten Datenträger sein und macht ja am Ende auch nichts anderes wie eine BBU beim HW-Raidcontroller. Der Unterschied bei ZFS ist, daß es durch CoW immer konsistent ist, aber das VMFS aufgrund seines Aufbaus anfälliger ist. Wie immer bei Raids sollte man auch bei ZFS eine USV am laufen haben oder man muß halt mit Datenverlusten wie bei Raid-Controllern leben. So ist jedenfalls mein Verständnis für die Sache.