Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Testprojekt: ESXi als Workstation benutzen

Moderatoren: irix, Dayworker

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Testprojekt: ESXi als Workstation benutzen

Beitragvon Dayworker » 10.02.2016, 19:34

Nachdem ich bei Paul "TinkerTry" Braren per Zufall über seinen Artikel What fits in any home virtualization lab, has 8 Xeon cores, 6 drives, 128 GB memory, and 3 4K outputs from a Windows 10 VM? Your new Supermicro SuperServer Workstation! gestolpert war, dachte ich mir, sowas könnte mir auch gefallen. Eine VM mit eigener Graka samt Maus und Tastatur und alles direkt am ESXi-Host angeschlossen, würde also das erklärte Ziel werden. Das man sich damit dann eventuell sogar den für ESXi/vCenter-Administration notwendigen zweiten Rechner einsparen könnte, hat mich zusätzlich beflügelt. GPU-Passthrough abseits teurer nVidia Grid-GPUs mit normalen Consumer-Grakas ist zwar von VMware weiterhin nicht supportet, aber was solls, Versuch macht klug und wenn Paul das hinbekommen hat, wird das hoffentlich auch bei mir laufen.

Mein damals aus Kostengründen ausgesuchter Server Dell T110 II (11.Generation) ist PCIe-technisch leider etwas eingeschränkt. Bei 4 PCIe-Slots der Gen 2 ist nur einer für lange Karten konzipiert, während die anderen Slots nur halblange Karten vertragen und den mitgekauften H200-Raidcontroller rauswerfen, wollte ich auch wieder nicht. Dieser wurde ja wegen "gea" seiner ESXi 5.5/5.1 + ZFS/OmniOS/napp-it All-IN-ONE VM extra mit einer IT- anstatt der originalen IR-Firmware geflasht, damit er rein als HBA ohne Raidsupport läuft. Also erstmal geschaut, was die Haushaltskasse hergibt. Naja was soll ich sagen, zwar keine komplette Ebbe, aber selbst für das nackte SM-Barebone ohne DDR4-DIMMs reicht es trotzdem nicht. Wird wieder mal nix mit neuer HW, muß ich halt einen anderen Weg suchen und vorhandene HW weiternutzen. Damit fällt aber GPU-Passthrough mehr oder minder auch weg. Denn Grakas mit PCIe_x1-Slot sind zwar erhältlich, aber deren für die aufgerufenen Preise unterirdische Grafikleistung dürfte bereits jedweden Versuch einer Bildauflösung jenseits von Full-HD zunichte machen, falls deren Ausgänge überhaupt mehr als Full-HD anbieten. Aber zwei Pluspunkte haben diese Karten dennoch. Zum einen benötigen diese keine 6-Pin-Zusatzstromversorgung vom NT und zum anderen ist dort geräuschlose Kühlung dank fehlendem Miefquirl problemlos möglich.

Wenn man sich schon länger mit VMware beschäftigt, probiert man früher oder später alle möglichen USB-Geräte in einer VM aus. Spätestens bei Maus und Tastatur scheitert man, da VMware zumindest bei den älteren Desktopprodukten VMserver1/2 aktiv deren Durchreichversuche (Stichwort HID-Devices) blockiert. Ein zweites Paar Maus und Tastatur direkt an den ESXi-Host dranhängen und in eine VM durchreichen, fällt damit vermutlich genauso flach oder erfordert vielleicht irgendwelche mir unbekannten VMX-Einträge. Ich habe es diesmal auch überhaupt nicht erst versucht, da Paul im Post How to locate your triple monitor (up to 2K) PC 20 feet away for less noise and more joy versucht, eine räumliche Trennung, sprich lüfterrauschender Host in der Abstellkammer und nur Monitor(e) mit Maus und Tastatur am Schreibtisch, umzusetzen. Dazu hat er auch ein sehenswertes, etwas dunkles Bild mit Tripplemonitor-Anordnung veröffentlicht. Da er ca 6m Abstand zwischen Host und Schreibtisch zu überwinden hatte, fallen normale USB-Verlängerungskabel raus, da die Leistungsverluste einfach zu groß werden und signaltechnisch dann hinten einfach nichts oder nichts verwertbares mehr ankommt. Bereits eine 1m-Verlängerung kann da schon zuviel sein und damit bleiben nur die häufig genannten USB-Device-Server übrig. Paul war sehr fleissig beim Testen und landete dann, wie im Post Digi AnywhereUSB/2 reliably attaches my keyboard and mouse to a Windows 10 VMware VM that is also my primary workstation beschrieben, beim "Digi AnywhereUSB/2".
Ein Blick in die Preissuchmaschine brachte die nächste Ernüchterung. Das Teil ist weder billig noch günstig, sondern aus meinen Privatmansaugen betrachtet, mit 250 Euro aufwärts reichlich teuer. Das muß also irgendwie günstiger gehen. Da im Forum bereits öfter von Silex die Rede war, landete ich irgendwann beim scheinbar neuesten Modell Silex DS-510. Für unter 100 Euro sicherlich kein Schnäppchen aber zumindest deutlich günstiger als das Digi-Modell. Wie beim Digi gibts zwei USB2.0-Ports mit FE-Anschluß und mehr als das Kästchen mit externem NT plus Kleingeräteanschluß sowie etwas "Papier" (Schnellanleitung, Garantiekarte, EU-Konformitätserklärung) lag auch nicht in der Schachtel. Die beiliegende Schnellanleitung verweist für die SW, die es nur für OSX und Windows gibt (für Linux ist scheinbar nichts geplant), direkt auf die Internet-Präsenz. Dort findet man dann neben einer "normalen" Version auch eine, die sich als Dienst installiert. Worin sich die SW unterscheidet oder ob sich das auch mit der "normalen" Version machen läßt, habe ich nicht weiter ausprobiert. Da sich das Kästchen bei Auslieferung per DHCP eine IP zieht und seine Dienste zudem per mDNS im lokalen LAN annonciert, ist die Einrichtung sehr einfach und lediglich die voreingestellte Benutzer/Passwort-Kombi (root, kein Paßwort) ist als Kritikpunkt zu nennen. Das Paßwort läßt sich leicht über den Webzugang des Gerätes ändern, ist in meinen Augen mit nur 7 Stellen für das Heimnetz aber gerade noch vertretbar. Vielleicht gibts da ja mal Verbesserungen.

Maus und Tastatur laufen jedenfalls bereits in der VM, fehlt nur noch die grafische Ausgabe. Dafür werde ich wohl notgedrungen auf einen USB-auf-DVI-Grafikadapter umschwenken müssen und da Silex im Gegensatz zu Digi anscheinend nichts mit mehr als 2x USB2.0-Anschlüsse anbietet, muß auch noch ein USB-Hub testweise ausgeliehen werden. Ich bin gespannt, ob das nachher alles so läuft, wie von mir gewünscht. Silex schreibt jedenfalls explizit ins Produkt-PDF, daß USB-Hubs sowie Isochrone Datentransfers unterstützt werden. Von der Seite sollte es passen...

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 10.02.2016, 20:28

Hallo Daywalker,

die Zotac GT730 ist schon zu lang?

https://geizhals.de/zotac-geforce-gt-73 ... at&hloc=de

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 10.02.2016, 22:04

Unabhängig davon ob sich die Karte überhaupt für PCI-Passthrough eignet, könnte die passen, allerdings ist die TDP deutlich zu hoch. Alle halbhohen x1-Karten sind meines Wissens bei der PCI-SIG mit nur 10W spezifiert und nur x1-Karten in voller Bauhöhe dürfen als Highpower-Device maximal 25W verbrauchen. Die nVidia-Karte jedoch sieht nach halbhoher Ausführung aus und ist trotzdem mit 38W angegeben. Das ist auch deutlich mehr, als das was mein kleiner Serverknecht zuläßt. Dort heißt es:
CAUTION:
To ensure proper cooling, no more than two of the four expansion cards can have a power consumption of greater than 15 W (up to 25 W maximum each), not including the integrated storage controller card.

Der H200 wird als 25W Karte aufgelistet. Die Aufteilung ist wie folgt:
Slot 2 supports full-length expansion cards; slots 1, 3, and 4 support half-length expansion cards.


Meiner Erinnerung nach steckt der H200-Controller entgegen der Manual-Angabe auch nicht im ersten (im Manual als "SLOT1 PCIE_G2_X8" mit Beschreibung "PCIe x8 half length" geführt) sondern im zweiten PCIe-Slot ("SLOT2 PCIE_G2_X8" mit "PCIe x8 full length"). Die Beschreibungen "PCIe x8 half length" und "PCIe x8 full length" deute ich dahingehend, daß beide Slots zwar für eine x8-Steckkarte ausgelegt sind, aber nur Slot 2 auch elektrisch als x8 ausgeführt ist.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 10.02.2016, 22:08

Im Grunde schwebt mir da eher sowas wie die PNY NVS 300, 512MB DDR3, DMS-59, PCIe 2.0 x1 (VCNVS300X1DVI-PB) vor. Unschönerweise kostet die auch gleich mal das doppelte deiner GT730-Karte...

Alternativ auch von AMD als AMD FirePro 2270, 512MB DDR3, DMS-59, PCIe 2.1 x1 zum ähnlichen Preis wie die NVS300...

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 10.02.2016, 23:14

Da nVidia nur die GRID- und Quadro- aber nicht die GeForce-Reihe für Passthrough vorsieht, dürfte ich bei nVidia mit der NVS300 noch am wenigsten auf Probleme stossen. Interessant sind auch die Ausführungen eines "VMware PreSales Engineer" bei https://www.pugetsystems.com/labs/articles/Multi-headed-VMWare-Gaming-Setup-564/. Dessen zufolge soll es auch mit der Titan-Reihe klappen.


Falls mein Vorhaben scheitert, will ich mich aber auch nicht wieder unnötig mit dann rumliegender HW herumärgern. Während der Device-Server immer gute Dienste leisten wird, sieht es mit PCI_x1-Grakas schlecht aus. Die würden dann hier nur Staub ansetzen. Das muß ich mir nochmal reiflich überlegen.

Leider hat mein Gedanke mit einem USB-2-DVI-Adapter einen empfindlichen Dämpfer bekommen. Damit diese Adapter funktionieren, wird meist eine nVidia- oder AMD-GPU vorausgesetzt. Das man dann diese "Adapter-GPU" auch als primäres Anzeigegerät einstellen kann, hilft in einer VM wohl eher nicht weiter...

Benutzeravatar
UNSTERBLICH(R.I.P.)
Beiträge: 14759
Registriert: 09.08.2003, 05:41
Wohnort: sauerland
Kontaktdaten:

Beitragvon continuum » 10.02.2016, 23:37

Mal ganz am Rande ....
seit ein paar Tagen arbeite ich an Pauls System mit dem ESXi + Win10 VM und muss sagen, das hat was.

Experte
Beiträge: 1362
Registriert: 30.03.2009, 17:13

Beitragvon UrsDerBär » 11.02.2016, 21:29

Da die Consumer-Teile hardwaremässig quasi baugleich sind mit den Pro-Karten aber gewisse Functions und Pro-Features wie OpenGL gesperrt sind, gehe ich einfach mal davon aus, dass es gewollt ist.

Es gibt übrigens ne einigermassen bezahlbare Passive Firepro. Modell 2460. Die letzten Tests waren vielversprechend.

Mit ner zusätzlichen Teradici-Hostkarte oder dem Software Host hat man auch gleich die Kiste im Keller verbannt. Funktioniert prima. Kosten steigen da aber schon an. ;)

So ne ESXi Workstation hat auf alle Fälle was. Kann man gleich "richtig" testen. Die Supermicro-Server sind allgemein sehr kompatibel mit ESXi, auch wenn ned alle Systeme auf der HCL sind. Nur auf die Netzwerkport-Hersteller sollte man achten!

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 12.02.2016, 12:01

@Urs
Bei den älteren Reihen waren Consumer- und Pro-Bereich wirklich upgradebar. Lediglich eine etwas andere Beschaltung hat zu veränderten IDs geführt und anhand dieser wurden dann erweiterte Funktionen freigeschaltet. Das klappt bei neueren nVidia-GPUs so nicht mehr, da diese auch FW-technisch verändert sind.


Ich bin immer noch am sondieren, welche GPUs bei mir funktionieren könnten:
https://de.wikipedia.org/wiki/Nvidia_Quadro hat geschrieben:Für den professionellen 2D-Bereich (Bildbearbeitung, Multihead-Anwendungen in Medizin, Börse etc) bietet Nvidia allerdings mit der Quadro NVS-Reihe leistungsstarke 2D-GPUs an.
Die würde ja schon reichen, damit man ein oder sogar zwei LCDs angeschlossen bekommt.

Neben nVidia, weil ich damit bisher eigentlich immer gute Erfahrungen gemacht habe, sind AMD-GPUs wohl wesentlich kompatibler und müssen nicht unbedingt aus der Profi-Reihe stammen. Pauls Entscheidung für die VisionTek 7750 dürfte zu einem grossen Teil dem LP-Format und einer max TDP von 70W geschuldet sein. Allerdings ist die Karte PCIe_x16 und fällt damit zumindest bei meinem jetzigen Server mit max PCIe_x8 raus.

Mit ner Teradici-Karte kann ich begriffs- und funktionstechnisch nichts anfangen, da müßte ich mich erst einlesen.

Experte
Beiträge: 1362
Registriert: 30.03.2009, 17:13

Beitragvon UrsDerBär » 12.02.2016, 15:44

Bezüglich nvidia: Ja klar, die Chips sind aber meines Wissens nach wie vor die selben. Aber eben etwas anders beschaltet und andere Firmware.

Mittlerweile mag ich AMD's sogar im professionellen Bereich lieber obwohl ich eher der nVIDIA Typ war. Die Treiber sind mittlerweile stabiler als bei nVidia. Früher wars anders rum. Dazu noch mehr Bums fürs Geld. Ich finde die Nvidia Teile einfach nur noch überteuert.


Teradici ist doch der Erfinder von PCoIP. (wie VmWare View) tz tz tz :D

Die machen quasi "nur" die Übermittlung von Bildschirm, Tastatur, Maus, Screen mit excellenter Performance via LAN-Kabel. Gibt aber auch Grafik-Chips - leider meist nur in Übersee - welche Teradici-Karte und Grafik-Chip in einem vereinen. Da brauchts nur einen Slot.

Hatte mal ne wirklich gute PCIe x1 Graka, die hat fabelhaft mit mehreren Monitoren funktioniert. Für alles ausser Gamen und CAD. Kann das Ding aber grad nimmer finden. War aber soweit ich weiss auch von AMD. Ging auch gut per PCI-Passtrough.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 12.02.2016, 20:06

PCoIP sieht für mich irgendwie zu aufwändig aus. Neben der Karte bräuchte ich ausgehend von http://www.teradici.com/product-finder/remote-workstation-solutions/workstation-pcle-cards-with-gpu immer noch einen Thin-Client und noch einen weiteren Staubfänger wollte ich eigentlich nicht haben.



[add]
Inzwischen habe ich mich mehr oder minder gegen die PNY NVS 300, 512MB DDR3, DMS-59, PCIe 2.0 x1 (VCNVS300X1DVI-PB) entschieden, da diese auch auf der PNY-Webseite mit unter 20W angegeben ist. Das ist genaugenommen ~5W über der LP-Spezifikation der PCI-SIG und übersteigt zudem auch die für meinem "PCIe x1 half length Slot" zulässigen 15W. Mein Projekt steht wegen meiner verwendeten Server-HW eh schon auf wackligen Beinen, da muß ich mir nicht vorher schon ein technisches Foul einhandeln. Da du selbst eine FirePro dafür vorschlägst, wird die von mir bereits verlinkte AMD FirePro 2270, 512MB DDR3, DMS-59, PCIe 2.1 x1 immer wahrscheinlicher. Auf deren Habenseite stehen:
  • Rechenleistung: 96GFLOPS (Single)
  • Speicher: 600MHz mit 9.6GB/s Durchsatz
  • Shader-Einheiten/TMUs/ROPs: 80/8/4
  • Leistungsaufnahme: 15W
  • DirectX: 11.0
  • OpenGL: 4.1
  • Shader Modell: 5.0
Die NVS300 gerät da etwas in Hinterhand mit:
  • Rechenleistung: 33GFLOPS (Single)
  • Speicher: 395MHz mit 6.3GB/s Durchsatz
  • Shader-Einheiten/TMUs/ROPs: 16/8/4
  • Leistungsaufnahme: 18W (TDP)
  • DirectX: 10.1
  • OpenGL: 3.3
  • OpenCL: 1.1
  • Shader Modell: 4.1
Für die NVS300-Karte spricht somit eigentlich nur noch OpenCL, das mit Version 1.1 zwar bereits veraltet, aber immerhin vorhanden ist. Da muß die FirePro mal komplett passen.

Positiv für beide Karten ist, das sie wegen des Anschlusses namens DMS-59 sehr flexibel beim Endgerät sind. Neben jeweils 2x DVI sind auch DP und VGA möglich. Find ich wesentlich praktischer als die üblichen 3 bis 6 Displayanschlüsse, die sich dann aus Platzgründen nur bei Dualslot-Grakas direkt herausführen lassen, wenn man mal vom 6x Mini-DP einiger Karten absieht...

Experte
Beiträge: 1362
Registriert: 30.03.2009, 17:13

Beitragvon UrsDerBär » 13.02.2016, 13:24

PCoIP: Thin Client brauchst ned. Nur nen dummen ZeroClient. Aufwendig ist der Kram rein gar nicht, im Gegenteil. Selten etwas so unproblmatisches und einfaches in den Fingern gehabt. VmWare hat nicht umsonst eine Kooperation mit denen. ;)

Staubfänger: Naja, Du hast nen Mini-Gerät ohne jegliche bewegte Teile. Absolut Stumm. Dazu ist die Luftqualität im Büro/Wohnraum um ein vielfaches besser. Das Ding strahlt nur etwas Wärme ab. Vom Lärm ganz zu schweigen. Gedanken um Temperatur, Lautstärke, Grösse von Zusatzkarten und womit man sich sonst noch rumschlägt, ist passée. Sprich PC kann so laut, hässlich und gross sein wie er will. Einfach im Keller verfrachten. Zusammen mit ner USV. Ich würde das auf alle Fälle nie mehr gegen was anderes tauschen wollen. Weder im Büro noch Privat. Im Büro finde ichs zudem noch praktisch, dass ich jegliche USB-Geräte verbieten kann und z.B. nur zulassen, was gerade angeschlossen ist.

Das einzige lästige ist die maue USB-Performance. Das ist zwar mit den Tera2 Chips besser, aber immer noch lahm. Dürfte einfach zu wenig CPU-Leistung vorhanden sein. Wenn Dir das egal ist oder dann einfach kurz in den Nebenraum/Keller/Estrich läufts, kannst Du theoretisch auf den Silex verzichten, da die Zeros bereits solche mitbringen. Ich verwende dennoch zusätzlich nen Silex mit ner separaten LAN-Leitung um eine gscheite USB-Performance für das beladen von Sticks zu haben.

Wenn Du kein zusätzliches Gerät willst, kannst auch einfach nen Samsung-Screen inklusive dem PCoIP-Chip kaufen. Dann verbindest nur noch Strom und Netzwerkkabel mit dem Bildschirm. Da hast dann halt leider keine Screen-Freiheit mehr. Kommt dann eben auf die Ansprüche an. Ich habe nur ein älteres Modell im Geschäft, davon bin ich nicht sooo begeistert.

EDIT: Vielleicht würde es ja auch eine kleine AMD Profesionnal Card tun. Sowas wie die W2100. Die kostet ned wirklich die Welt und kann dafür auch Open CL. Klar nicht soooo viel Power wie die grossen aber dafür auch weniger Power notwendig. Hab allerdings noch keine davon durchgereicht.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 13.02.2016, 15:32

Okay, ZeroClient wäre dann auch eine Möglichkeit.

Da mich mein samft vor sich hinrauschender Server aber nicht wirklich stört und ich diesen nur zu mehr als einem reinem Host für VMs - die sprichwörtliche Blackbox - nutzen will, ist PCoIP zwar verführerisch, aber eher nicht mein Weg. Direkt neben dem ESXi egal in welcher Form noch einen Thin-Client hinstellen, überschreitet zudem meinen zur Verfügung stehenden Platz. Um, ohne das momentane Chaos als Bild festhalten zu müssen, dir mal ein Bild zu malen...
Auf meinem heimatlichen Schreibtisch stehen neben dem 22er LCD (Acer AL2216W als Sonderangebot im roten Markt vor ewigen Zeiten für 99 statt 199 bekommen), der per VGA an den ESXi und DVI an einen Zweitrechner angeschlossen ist, auf dessen Fuß eine kleine, mit damals 15 Euro absolut ausreichende Delux-K5000 Tastatur (84 Tasten, Ziffernblock über FN-Taste, 17er Layout bei halber Breite von DEL, INS usw aber Multimediatasten über den Funktionstasten) ruht, direkt daneben eine kleine, formschöne LED-Lampe (Aldi Saisonware) mit 21 LEDs, auf deren reichlich grossem Standfuß der Silex DS-510 Device-Server förmlich thront, aus sentimentalen und früherem Zocker-Gründen auch noch ein 19er Hyundai-Monitor (ImageQuest P910+). Vor diesem Ungetüm stehen die per Silex durchgereichte Maus und Tastatur im Normallayout und dann sind da auch noch Maus und ebenfalls Tastatur im Normallayout für den Zweitrechner. Der CRT sollte schon längst weg sein, da er schon aus rein energetischen Gründen (80-100W Verbrauch laut USV und Energiemesser) niemals wieder zum Einsatz kommen werden wird und ich definitiv den ESXi-Screen auf einem separatem Monitor legen will/muß. Während Linux dank KMS beim Start komplett inklu Benutzeranmeldung dauerhaft ein Bild anzeigt, schaltet jedes Windows nach dem Start direkt vor der Benutzeranmeldung die Monitorauflösung um und somit wechselt bei mir jedesmal der Monitoreingang auf den ESXi-Screen. Echt nervig, vor allem wenn man keine separaten Tasten für die Eingangswahl hat und sich dann jedesmal durchs reichlich verzweigte LCD-Menu kämpfen muß...
Beim Umflashen meines H200-Controllers in einen LSI-9211 mit IT-Firmware kam der CRT-Monitor jedoch doch nochmal zum Einsatz, da ich den Controller direkt im ESXi-Server per Live-CD bearbeitet habe und zu einigen Fehlermeldungen im Web recherchieren mußte. Falls jemand das auch mal machen will bzw muß und hiermit als mahnende, schriftlich festgehaltene Erinnerung für mich, es hilft dabei ungemein, wenn man Tastatur und Monitor in eine Einheit bringt.
Ich dagegen wollte schnell sein und habe kurzerhand den CRT für den ESXi verwendet. Die direkt davorliegende Tastatur gehörte jedoch zum Zweitrechner und die 84-Tasten vor dem LCD mit Grafik des Zweitrechners folglich zum ESXi-Host. Ich weiß garnicht, wie oft ich http-Adressen am ESXi-Host und LSI-Flashbefehle am Zweitrechner einzugeben versucht habe. Müßte ich glatt mal die restlichen Mieter im Hause fragen, dürfte aber sicher einige Male gewesen sein, wenn ich mir die etwas verstört dreinblickenden Gesichter meiner Hausmitbewohner am nächsten Tag wieder in Erinnerung rufe...

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 28.02.2016, 18:40

Inzwischen ist meine AMD FirePro 2270, 512MB DDR3, DMS-59, PCIe 2.1 x1 angekommen und ein erster Test verlief nicht sonderlich gut. Die in meinem Server verbaute iDRAC-express-Grafik lieferte nach Einbau der FirePro kein Bild mehr, stattdessen macht die FirePro nun auch die Anzeige der ESXi-Console. Unabhängig davon läßt sich die AMD-GPU durchreichen und wird in der VM blöderweise nur als "Standard VGA Graphics Adapter" erkannt. Im Gerätemanager steht dann der übliche Fehler 10, was auf einen schwerwiegenden HW-Fehler hindeutet. Jetzt heißt es also erstmal die unzähligen Postings zu GPU-Passthrough dahingehend zu durchsuchen, woran genau es scheitert.

Den Hinweis mit dem DEVCON-Utility habe ich bereits ausprobiert, aber irgendwas mache ich falsch. Neben der gewünschten "VMware SVGA 3D" wird auch noch sämtliche andere VMware-HW deaktiviert. Da muß ich mich also auch noch viel genauer einlesen.

Experte
Beiträge: 1362
Registriert: 30.03.2009, 17:13

Beitragvon UrsDerBär » 02.03.2016, 12:08

Sehr seltsam wie ich finde. Alternative Steckplätze hast nicht zu Verfügung oder? War auch schon - warum auch immer - ein Problem. Sprich es ging mit RAID-Controller, GPU sowie einem LSI-SAS-Hostadapter nur in einer bestimmten Einsteck-Reihenfolge

Werde es auch die nächsten Tage mit einem neuen Server testen. Habe glaub noch eine 2270 oder deren Vorgänger rumliegen.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 02.03.2016, 14:02

Meinen als LSI-HBA umgeflaschten Dell H200-Controller habe ich durchgereicht bekommen und der läuft problemlos. Werde hofentlich am WE etwas Zeit zum testen finden.
Eines ist jedoch schon mal positiv. Die durchgereichte GPU verursacht keinen BSOD und auch vom ESXi-PSOD bin ich bisher verschont geblieben. Die GPU sitzt momentan im einzigsten PCIe_x1-Slot des MBs und der ist der letzte von vieren. In Slot 1 in einem x8-Slot steckt der LSI-HBA, die Slots 2 (elektrisch x8, physisch x16) und 3 (elektrisch x4, physisch x8 ) sind leer.

Member
Beiträge: 3
Registriert: 04.05.2016, 16:53

Beitragvon wasp103 » 04.05.2016, 19:01

Letzter Eintrag im März, ich fühl mich schon fast wie ein Totengräber ^^

Wie sieht denn dein aktueller Status zu diesem Vorhaben aus?

Ich arbeite seit meinem ESX-Projekt jetzt auch nur noch an der Win7 Workstation mit durchgeschleifter Graka, USB-Controller und Soundkarte.

Meine HW:
X9SRL-F +E51620V2 + 64GB ECC (4x16HA) + 2x250 GB HW-Raid1 (LSI 9650SE) als Datastore1
Darauf läuft derzeit ein 6.0 mit custom ISO für den unsupported Raid Controller.
Datastore2 und mein Cheapo-Datastore werden über eine Nas4Free-VM mit durchgeschleuster M1015 (IT16) befeuert und per iSCSI rück-eingebunden.

Die Workstation-VM hat eine R9-270x DirectCuII spendiert bekommen (Problemloses Passthrough der GraKa, jedoch zickt die darin integrierte Soundkarte und spielt nicht mit. Sound macht daher eine (ebenfalls durchgereichte) ASUS Xonar D2X.
Habe in der VM schlechte Erfahrungen mit Soundblaster Z gemacht und bin nach Haareraufen und ständiger Sound-Ausfälle deshalb zu ner Xonar gewechselt. Seitdem keine Sound-Abstürze mehr.

Das Problem mit USB habe ich in den Griff bekommen mit einem USB2UTP Übersetzer und einem (aktiven!) 4-Port-USB-Hub am Ziel.Der komplette USB-Controller wurde ebenfalls in die Workstation-VM durchgereicht.


Warum der ganze Text? Vielleicht kann ich was von meiner Odyssee beisteuern, oder wir uns da mal austauschen? Habe selbst noch so einiges geplant und suche grad Leute, die sich da ggf. ebenfalls für interessieren.

lg
wasp103

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 04.05.2016, 21:48

Mein Vorhaben ist irgendwie etwas eingeschlafen, aber weiterhin aktuell. Als ESXi-Version läuft weiterhin 5.5U2 und weitere Tests mit der AMD-GPU waren nicht von Erfolg gekrönt, leider.

Um das Problem mit der ESXi-DCUI zu lösen, werde ich vermutlich eine weitere Graka stecken müssen, damit der ESXi seine eigene Grafik behält. Ich vermute, daß ich erst dann die gewünschte AMD-GPU wirklich durchreichen kann. Da jedoch auch noch eine VM mit Nappit-AiO samt durchgereichtem LSI-Controller als NFS-DS fungiert, muß ich etwas aufpassen. Die USB-Controller laufen stellenweise auch über einige PCIe-Lanes und der ESXi bootet vom Stick. Nicht das ich mir mit dem Durchreichen nachher noch den Ast absäge, auf dem ich sitze. Falls dem ESXi nämlich sein Bootmedium abhanden kommt, ist es gleichzeitig auch Essig, eine Fehlconfig hinsichtlich VMdirectPathIO sprich Passthrough wieder zurück zu nehmen. Dann kommt man ums neu Aufsetzen kaum mehr herum.

Member
Beiträge: 3
Registriert: 04.05.2016, 16:53

Beitragvon wasp103 » 04.05.2016, 23:04

Dayworker hat geschrieben:Mein Vorhaben ist irgendwie etwas eingeschlafen, aber weiterhin aktuell. Als ESXi-Version läuft weiterhin 5.5U2 und weitere Tests mit der AMD-GPU waren nicht von Erfolg gekrönt, leider.

Um das Problem mit der ESXi-DCUI zu lösen, werde ich vermutlich eine weitere Graka stecken müssen, damit der ESXi seine eigene Grafik behält. Ich vermute, daß ich erst dann die gewünschte AMD-GPU wirklich durchreichen kann. Da jedoch auch noch eine VM mit Nappit-AiO samt durchgereichtem LSI-Controller als NFS-DS fungiert, muß ich etwas aufpassen. Die USB-Controller laufen stellenweise auch über einige PCIe-Lanes und der ESXi bootet vom Stick. Nicht das ich mir mit dem Durchreichen nachher noch den Ast absäge, auf dem ich sitze. Falls dem ESXi nämlich sein Bootmedium abhanden kommt, ist es gleichzeitig auch Essig, eine Fehlconfig hinsichtlich VMdirectPathIO sprich Passthrough wieder zurück zu nehmen. Dann kommt man ums neu Aufsetzen kaum mehr herum.


Ja, das kann ich nachvollziehen. Das SM-Board hat 2 USB-Controller zu exportieren, wo es auch keinerlei Beschreibung gibt, welcher zu welchen physikalischen Ports gehört.
Ich war erstaunt, dass selbst einer der Gehäuse-internen USB-Ports dabei mit durchgereicht wurde... Deine Vorsicht ist da also durchaus angebracht :)


Zu deinem NFS-DS...
Ich kenne nappit noch nicht recht, aber offensichtlich setzt du da auch ZFS ein, ist das so?
Kannst du der Kiste gar keine Downtime gönnen? Sonst könnte man vielleicht nen neuen USB-Stick mit neuer Config aufziehen zum ausprobieren... Würde aber den ganzen Controller sicherheitshalber für den Test mal ausbauen, damit da nichts schief gehen kann...

Aber ja, ist halt alles mit (Down-)Zeit verbunden für so nen kleinen Test, welche Hardware hinter welchen IDs steckt.




Ich habe auch gelesen, dass du gewisse Maximalwerte einhalten willst/musst, was GPU-TDP betrifft... Die GraKas, die ich da bisher als funktionierend in Erfahrung gebracht habe, sind jedoch alle weit über 25W... :/


Bezieht sich das alles hier auf die Dell T110 II - Kiste, die du beschrieben hast? Ist da nich auch ne G200 drin? Bei mir ist ebenfalls ne Matrox eingebaut und wenn ich mich recht erinnere, habe ich bisher ausschließlich über IPMI-Console Zugriff auf die DCUI bekommen und kenne das gar nich anders...
Hast du dazu nich auch ne Möglichkeit?

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 04.05.2016, 23:59

Ja, der Dell T110 II (11.Generation) ist weiterhin im Einsatz und der NFS-DS ist per ZFS realisiert. Darauf läuft oder lagert zumindest inzwischen bis auf die auf einer SSD residierenden Nappit-VM alle meine VMs.

Der Dell-Server hat als Fernwartung/Remote nur das iDRAC-express verbaut. Mehr als die HW per CMD abfragen sowie starten/stoppen ist darüber meines Wissens nicht möglich. Im iDRAC ist jedenfalls auch eine Matrox-GPU (G200eW) mit VGA-Ausgang realisiert, auf die ich über das Bios nur rudimentäre Eingriffsmöglichkeiten habe. Unter ESXi5.5U2 jedenfalls ist es völlig Wurst, was ich da einstelle. Hier mal meine beiden Wahlmöglichkeiten:
Dell PowerEdge T110 II Add On Video Graphics Card That Works hat geschrieben:After installing this graphics card, the BIOS setup changed from:
Integrated Devices > Embedded Video Controller: Enabled

to saying:
Integrated Devices > Embedded Video Controller: Standard

and allowed to switch from "Standard" to "Distributed" so it now says:
Integrated Devices > Embedded Video Controller: Distributed

Da müßte man glatt mal probieren, wie sich die Bios-Einstellungen real auf ein "normales" OS auswirken.

Member
Beiträge: 3
Registriert: 04.05.2016, 16:53

Beitragvon wasp103 » 05.05.2016, 00:48

Ja, vielleicht gibt das noch nen Aufschluss.

Ich drück dir erstmal die Daumen! :)
Ist aber schonmal toll zu sehen, dass es hier Leute gibt, mit denen man sich da mal unterhalten kann. :)

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 01.10.2016, 15:39

Mein Bastelprojekt ist unfreiwillig immer noch im Standby-Mode. Mir fehlt das Geld für eine zweite Graka mit den bekannten Einschränkungen hinsichtlich PCIe-Anschluß und TDP, damit ich dann hoffentlich eine saubere Trennung von ESXi-Consolengrafik und VM-Grafik hinbekomme.


Zurück zu „VMs & Appliances“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste