PCI Passthrough RAID Controller

[painkillerchris]

Hallo zusammen!

Zunächst möchte ich mich gerne für die schnelle Freischaltung meines Accounts bedanken. Ich hoffe hier Hilfe zu finden und bin immer für konstruktive Kritik zu haben

Kurz zu meinem Szenario:
Ich bin Informatiker habe mich aber in meinem bisherigen Beruflichen Leben wenig bis kaum mit VMWare beschäftigt. Das soll sich nun mit einem Homeserver mit aufgesetzten Esxi Hypervisor ändern.

Mein aktuelles Ziel bzw. mein gewünschtes Testszenario:
Aufsetzen einer FreeNas VM mit durch gereichtem LSI SAS2008 RAID Controller.

Erkennungsprobleme zum LSI SAS2008 kann ich keine erkennen. Richte ich den Controller im Esxi als zusätzliches Laufwerk ein Funktionierent dies tadellos. Jetzt scheitere ich beim PCI Passthrough

Ich wähle die PCI Card für den Passthrough aus, starte meinen Host neu und das Device wird mir noch immer mit dem Hinweis angezeigt, dass ich den Host neu starten soll. Erstelle ich eine neue VM wird mir als zusätzliches Gerät der LSI Controller nicht angezeigt, ich kann gar kein PCI Gerät auswählen. Das ganze habe ich auch im Wartungsmodus versucht da ist das Verhalten genau gleich.

Habt ihr eine Idee woran dies liegen könnte? Ich gehe aktuell davon aus, dass ich bestimmt was falsch ausgewählt bzw konfiguriert habe.

Danke für eure Hilfe!
Ich habe zwei Screenshot als Dateianhang in diesem Post Mal hinzugefügt.

[MarroniJohny]

Ich hatte jahrelang Consumerhardware am laufen, da ging durchreichen mal, mal nicht. Wenn es klappte lief es problemlos durch, aber manchmal musste ich das Passtrough neu konfigurieren und dann den Host nochmals starten danach. Seit ich von X79 auf C612 gewechselt bin, ist das Thema zum Glück Geschichte. Was hast Du denn für Hardware am Start?

Dann höre ich da FreeNAS heraus. Möchtest Du ein Hardwareraid darauf machen? Die meisten hier patchen für ZFS den HBA in den IT Mode, ich auch. Und für ZFS geht glaub ich kein Hardwareraid. Hardwareraid machen eher die Leute, die das direkt am Blech betreiben.

Wenn Du noch in der Findungsphase bist, würde ich mir mal geas napp-it Projekt mit Solaris anschauen. Gerade auch, wenn Du den Filer für NFS und die VMs verwenden möchtest. Ich bin auch von FreeNAS zuerst auf Xigmanas und schlussendlich auf napp-it gewechselt. Das mit dem Nappit AiO haben auch die meisten auf dem Hardwareluxx.

https://napp-it.org/

[Dayworker]

Der ESXi startet bei dir von wo?
Aufgrund immer derselben Meldung nach Freischalten des Controllers für Passthru und anschließendem Reboot ist die ESXi-Inst auf genau diesem Controller naheliegend. Der ESXi muß aber zumindest von einem anderen, unabhängigen Gerätecontroller wie USB-Stick/SD-Card/HDD/SSD starten, damit PCI/PCIe-technisch überhaupt etwas durchreichbar ist und auch die VM-Config für dein gewünschtes Gast-OS muß irgendwo gespeichert werden. Mein Vorschlag dafür wäre eine 2.5er HDD oder auch eine SSD, die nicht am durchzureichenden Controller hängt und neben dem ESXi auch die NAS-VM aufnehmen kann. FreeNAS klingt für mich letztendlich nach ZFS und das funktioniert am besten ohne Raid-Controller mit einem oder ggf mehreren HBAs. ZFS funktioniert natürlich auch mit einem Raid-Controller, allerdings legt man damit den Großteil der ZFS-Funktionalität lahm. Bei kleineren LSI2008-basierten Controllern ohne eigenen Schreib-Cache (Dell H200/H310, IBM M1015 etc) macht es weiterhin Sinn, einfach die IR- gegen die IT-Firmware auszutauschen oder direkt in einen zukunftssicheren 3008-basierten HBA zu investieren. Der LSI2008-Chip steht meines Wissens nicht mehr auf der HW Support Liste zum ESXi7.x.

[painkillerchris]

Danke für Eure Antworten!

Ich versuche die Unklarheiten einmal zu beseitigen.
Bei der von mir verwendeten Hardware handelt es sich ebenfalls um Consumer Hardware. Die wichtigsten Komponenten sind:
- AMD Ryzen 7 3700x
- ASUS B450 Pro Mainboard
- 32GB RAM
- 1x 1TB SSD direkt am Board im AHCI Mode angeschlossen
- 2x 500GB 2,5" HDDs welche als Test dienen sollen direkt angeschlossen an den LSI SAS2008 Controller
(Ich weiß, keine Serverhardware an sich, aber das was mir zur Verfügung stand und m.E. für den Heimgebrauch ganz in Ordnung ist)

Mein Ziel:
Generell ein VM Homelab vor allen Dingen ein neues Zuhause für ein NAS. Ich betreibe aktuell noch zwei Zyxel NAS die ich aber gerne in Rente schicken möchte. Darin sind 4x 10TB Seagate Iron Wolf drin. Mein Ziel -> RAID 10 direkt auf dem VM-Server (RAID 5 wäre nice aber unterstützt der LSI SAS2008 RAID Controller leider nicht). Ich wollte mir die doch recht hohen Kosten für einen neueren RAID Controller zunächst sparen, würde diese aber im Falle des Falles tätigen.

Was ich bisher gemacht habe:
Gebootet wird der Hypervisor über die SSD welche direkt am MB angeschlossen ist. Ich hatte die Konstellation so weit am laufen, dass FreeNAS lief und ich im ESXI einen Zusätzlichen Datenspeicher (Unter Speicher -> Neuer Datenspeicher) hinzugefügt habe. Meine Überlegung war, das RAID ist ja auf der Hardwareebene und im FreeNAS habe ich dann einen Datastore angelegt.
Das funktionierte auch soweit. Aber ich habe immer wieder Probleme mit großen Dateien. Ich kopiere eine große Datei via SMB oder AFP (mit meinem MAC) auf ein Share und die Übertragungsgeschwindigkeit ist eher Mau und stockt Teilweise bis gar nichts mehr geht (Alles per Gigabit an einen großen Switch angeschlossen). Daher war meine Idee, den RAID Controller direkt einmal durch zu schleifen. Also Device in ESXI ausgewählt zum Durchschleifen, Neustart gemacht, ESXI zeigt mir noch immer an ich solle den Host Neustarten. Das gleiche im Wartungsmodus gemacht, selbes Ergebnis.

Jetzt stehe ich da:
- Liegt es am RAID Controller?
- An der Konfiguration?
- Warum ist in der ersten Konfiguration die Datenübertragung so langsam und bricht ab?
- Soll ich doch das Geld für einen besseren (und vor allen Dingen welchen?) RAID Controller ausgeben? Vielleicht habt ihr da Empfehlungen für mich?

Fragen über Fragen zu denen mir leider zum jetzigen Zeitpunkt die Antworten fehlen.

Viele Grüße!

[MarroniJohny]

Hi

Hast Du für die Hardwaarekonsole noch eine GPU im Host stecken? Hast Du schon versucht den PCIe Steckplatz zu wechseln?

Wie gesagt, für ZFS machen die Meisten ein Softwareraid. Dazu ist Dein LSI Controller ausreichend. Ansonsten brauchst Du einen RAID Controller mit Batterie. Willst Du das mit ZFS und Deinem HBA so aufbauen, würde ich die Karte mal in den IT Mode flashen als erstes. Dann geht aber kein Hardwareraid mehr.

Ich bin allerdings auch nicht so der Profi. Hier gibt es viele Infos zu dem Thema:

https://www.hardwareluxx.de/community/t ... ch.570052/

Da treibt sich auch gea rum, die ist da voll der Guru, was ZFS anbelangt.

[painkillerchris]

Ja ich habe auf dem ersten PCI-E Steckplatz noch eine GPU stecken. Die kann ich heute Abend mal testweise mal ausstecken.

Was noch interessant ist:
Wenn ich Passthrough für die PCI Karte aktiviere kann ich auch nach einem Neustart nicht mehr den LSI Controller auswählen um einen weiteren "Neuen Datenspeicher" hinzuzufügen. Aber in den Passthrough Einstellungen wird dieser immer noch angezeigt, dass ein Neustart durchgeführt werden muss. Sehr strange...

[MarroniJohny]

Das ist eigentlich normal, dass wenn der Controller für Passtrough markiert ist, die Platten dem Host nicht mehr zur Verfügung stehen. Wenn das durchreichen erfolgreich wäre, dann sind die Platten nur noch im Gast sichtbar. Willst Du den Storage wieder am Host haben, richtest Du im Filer eine NFS Freigabe ein, auf welche Du dann im Host zugreifen kannst. Der HBA gehört dann also voll dem Gast (FreeNAS), das verhält sich dann so, wie wenn der Gast samt Controller auf einem Blech installiert wäre.

[Dayworker]

Du zweckentfremdest ein Consumer-Gerät für eine Server-Anwendung. Das kann, muß aber nicht gutgehen. PCI-Passthru ist die ganz hohe Schule, bei dem vieles Zusammenpassen muß und noch schlimmer wird es beim Durchreichen einer GPU, bei dem je nach Hersteller dieser sogar extremst gegen die Verwendung per PCI-Passthru agiert.
In deinem angehängtem Bild zu den Passthrough-Einstellungen werden 42 Elemente erwähnt. Ohne weiter Ansicht können wir nur raten, ob und weshalb die gesteckte GPU eine Problemursache sein könnte.

Hinsichtlich ZFS kann ich dir sagen, daß sich kein Anwender mit einem Raidkontroller für eine VM bzw Appliance belastet und dabei spielt es auch keine Rolle, ob der Controller einen Schreib-Cache und/oder BBU bzw BBWC mitbringt. ZFS ist von Hause aus immer konsistent, was bei einem Raid eigentlich nie gegeben ist und hat auch kein Write-Hole. Für ZFS-Systeme will man nur möglichst viele Datenträgeranschlüsse haben, weil ZFS sowohl Dateisystem ist, als auch Volume-Management und Raidfunktionalität zur Verfügung stellt. Am kostengünstigsten lassen sich neben den Chipsatz-Anschlüssen ganz einfache HBA(s) verwenden. Da der ESXi kein Linux ist, bringt er nicht für alle Controller-Chips entsprechende Treiber mit. Das erklärt dann auch die häufige Empfehlung für LSI-2008/3008-basierte HBAs.

Wie dir bereits geschrieben wurde, kannst du nach der ZFS-Einrichtung den entstandenen Datenspeicher auch als Speicherplatz für den ESXi bevorzugt per NFS oder auch iSCSI wieder zurückreichen. Damit genießen alle anderen VMs auch automatisch alle Annehmlichkeiten, die mit der ZFS-Verwendung einhergehen.

[painkillerchris]

Danke für die Antworten! Ich glaube ich habe aber nun ein paar Verständnisfragen

- Verstehe ich das richtig, dass wenn ich ZFS nutze, ich keinen RAID Controller brauche, ich somit die SATA Anschlüsse meines MB nutzen kann?
- Auf welcher Ebene würde ich dann ZFS konfigurieren? Im Hypervisor also ESXI oder in FreeNAS?
-> Wenn das auf dem Hypervisor geschieht würde ich davon ausgehen, dass ich die z.B. beiden 500GB Platten als Datastore hinzufüge?
-> Wenn das im FreeNAS geschieht müsste ich ja irgendwie die Platten 1:1 durchschleifen ins FreeNAS.

Vielen Dank für die Klarstellungen und Eure bisherige Hilfe!

VG
Chris

[MarroniJohny]

Es lassen sich nur wenige Onboard SATA Controller durchreichen, mit einigen Supermicro und ASUS Server Boards soll das gehen. Wenn Du den an FreeNAS durchreichst, kannst Du aber keine der Ports dieses Controllers mehr am Host benutzen -> Versuch macht kluch. Was noch eine weitere Variante wäre, dass Du die SATA Platten per RDM an den Filer durchreichst. Habe ich allerdings noch nie gemacht. Was Du nicht machen solltest im Zusammenhang mit Filer/ZFS, ist den Datastore normal per vSphere zu konfigurieren, sprich als Basis eine VMDK zu nehmen. Das geht für Tests, sollte aber nie produktiv gemacht werden.

Ja, das ZFS ist bei durchgereichtem Controller und per RDM nur im Filer sicht- und konfigurierbar.

Ich würde ja den HBA nutzen, den Du hast, und als Filer wie gesagt napp-it nehmen. Ich musste auch nachträglich noch wechseln, was super aufwändig war und ohne Hilfe von hier aus dem Forum hätte ich das nie und nimmer hin gekriegt.

[MarroniJohny]

Ahja, wenn es Dich interessiert, wieso ich auf napp-it wechseln musste:

viewtopic.php?f=51&t=33179&p=184042#p184042

[Dayworker]

Korrekt, für ZFS brauchst du keinen Raid-Controller, weil ZFS unter anderem Raidfunktionalität mitbringt.
Wie "AliManali" bereits schrieb, gehen leider nicht alle Onboard-Sata-Controller. Daher nimmt man einen HBA für die saubere Trennung und reicht diesen an eine VM oder eine Appliance wie das bereits erwähnte "nappit" durch. Alle an den HBA angeschlossenen Platten werden gleichsam durchgereicht und die VM/Appliance kümmert sich fortan um alle am HBA hängenden Laufwerke. Dadurch kann man den Gesundheitszustand über die Smartmon-Tools jederzeit auslesen. Bei einem HW-Raid-Controller sieht man dagegen den Gesundheitszustand einzelner Platten im ESXi meist nicht mehr, weil der HW-Controller einfach das vom Raid gebildete Laufwerk an den ESXi meldet. Mehr als "Raid ok" oder "Degraded" zeigt der ESXi meist nicht an.
Mit einem HBA kann man sich beim Umflashen sogar das Einspielen eines BIOS ersparen, weil davon nicht mehr gebootet werden muß. Die für die Karte notwendigen PCI/PCIe-Ressourcen werden trotzdem reserviert. Positiver Nebeneffekt eines fehlenden Karten-BIOS ist, daß sich der Rechnerstart deutlich verkürzt. Zum einen weil das Karten-BIOS nicht mehr im Host-Rechner angezeigt werden muß und zum anderen vor allem weil alle daran angeschlossenen Laufwerke auch nicht mehr vom Host eingeloggt werden müssen. Das übernimmt komplett die VM.

Du schreibst immer LSI-SAS2008, welchen Controller genau hast du vorliegen?

[MarroniJohny]

Ich will Dich jetzt nicht überfordern, aber im Luxx nehmen viele das Brett hier mit Ryzen und vSphere. Da wärst Du ein bisschen näher an Serverhardware dran:

https://www.hardwareluxx.de/community/t ... t.1241079/

Da könntest Du Dir auch die GPU sparen, weil das Board hat IPMI.

Hast Du eigentlich ECC Speicher genommen für Deinen Build? Ich hatte mit dem schon erwähnten X79 System mit 64GB auch kein ECC, und nur Theater. Mit dem Speicher, und so... Und hatte da noch nicht mal wirklich nen Filer am laufen, diente mehr als Anwendungsserver, komplett ohne durchgereichte Hardware. Da scheiden sich die Geister. Einige meinen, ohne ECC kein Problem, der Rest inklusive mir schwört darauf. Aber bei ZFS würde ich mir das schon überlegen, wenn Dir Deine Daten etwas wert sind. Board und gegebenenfalls Speicher könnte man ja noch verkaufen und dann wechseln zu passenderen Teilen, welche nicht einmal signifikant teurer sind. Das selbe gilt für SSDs und Platten. Hier auch Consumer SSDs am laufen, und die sind super lahm. VM Datastore ist eine 2TB Evo, und wenn da der ganze Christbaum läuft, schreibts da noch mit 5MB/s drauf, weil das Konstrukt mit napp-it kein TRIM bietet. Muss ich dringend mal zu Serverhardware switchen noch in dem Bereich, weil Server SSD sind dafür ausgelegt ohne TRIM zu arbeiten.

Hatte mich vor ein paar Jahren auch hilfesuchend hier ans Forum gewendet, und zu wenig auf "Stangensellerie" gehört, als er mir eindringlich zu Serverhardware geraten hat.