esxi 5.5 GPU gpu passthrough

[Vivian]

Guten Tag, ich versuche hier schon seit ein paar stunden gpu passthrough in esxi zu Aktivieren, als Gpu habe ich einmal eine nvidia gtx 260 und eine gtx 520 drinne.
Die Karten werden durchgegeben und von VM (Windows 7) ekannt.
Aber das Monitor bleibt denoch schwarz. Was mache ich falsch?

Mein Setup sieht so aus.
PC: HP Workstation Z800
CPU; Xeon E5530
GPU0: GTX 260
GPU1: GTX 520

Ich habe in den ESXI Einstellungen passthrough für beide Karte Aktiviert. Und an die VM durchgegeben. Ich habe auch die von Nvidia angebotenes VIB datei installiert.
Das System hat die Karten auch erkannt. Aber Monitore bleiben dennoch schwarz.
Zum Test habe ich USB Ports auch durchgegeben, diese funktionieren auch. Also klappt es wohl mit passthrough.

Was mache ich falsch?
Und bitte, habt Nachsicht mit mir.
Ich habe heute esxi zum ersten mal installiert.

MFG

PS.
Logfile -> https://s3.amazonaws.com/foren/vmware.log

würde mich auf eine antwort freuen

[Dayworker]

Ich finde es reichlich ungewöhnlich, daß jemand der zum ersten Mal den ESXi installiert, gleich mit der problematischsten Thematik anfängt. Denn funktionierendes Passthrough ist von ESXi-Version zu Version immer schlechter vorhersagbar geworden. Bei manchen Versionen funktionierts und bei manchen bzw bestimmten Geräten halt nicht. Beim ESXi5.5 scheint es dort neben den vielen schon bekannten Problemen an anderen Stellen noch mehr Probleme zu geben.

Gleich beide GPUs durchzureichen halte ich prinzipiell erstmal für wenig zielführend. Dem ESXi sollte man für den Notfall immer noch eine GPU zur Anzeige der CLI gönnen. Ich würde es erstmal nur mit einer versuchen. Die zweite GPU kannst du dann immer noch durchreichen.
Verlinke mal bitte auch noch die Abbildung deiner Passthrough-Config, in der man die Zuordnung Geräte zu PCI/PCIe-Slots sieht.

[Vivian]

Hier die neuen Logs,
ich habe jetzt alle anderen gerät aus passthrough gelöscht und nur die gtx 520 übergeben.
Die gtx260 ist jetzt nur für die esxi anzeige zuständig.
https://s3.amazonaws.com/foren/vmware_n.log
https://s3.amazonaws.com/foren/vmware0.PNG
https://s3.amazonaws.com/foren/vmware1.PNG

[Dayworker]

Okay, die GTX260 und die GT520 sind jeweils direkt ohne zwischengeschaltete PCI/PCIe-Switches angebunden sprich ideale Voraussetzungen für Passthrough. Das der "GF119 HDMI Audio Controller" auch für Passthrough bei der GT520 ausgewählt ist, muß so sein und hängt mit Passthrough-Funktionsweise zusammen.

Das wird jetzt bestimmt echt nervig, aber du kommst um viele Tests und Config-Änderungen nicht herum...
Gib der VM mal testweise nur 2GB vRAM und reserviere diesen vRAM auch komplett für diese VM. Nur wenn es dann funkioniert, würde mich ein erneutes Log interessieren. Falls du noch drei USB-Sticks mit mindestens 1GB rumliegen hast, könntest du auch mal die ESXi-Versionen 5.1 und 5.0 sowie 4.1 auf die Sticks installieren und damit probieren. Mit 4.1 solltest du dabei eigentlich die größten Chancen auf Erfolg haben.
In jedem Fall würde ich auch ausprobieren, ob du mit der GTX260 im Passthrough mehr Erfolg hast. Für grafisch anspruchsvollere Dinge oder sogar GPGPU-Berechnungen macht die GT520 nur wenig Spaß und besonders bei DP-Berechnungen hängt die GTX260 die GT520 deutlichst ab.

[Vivian]

wird morgen ausprobiert.
Müssen noch irgendwelche Einstellungen in der VM vorgenommen werden vll.?
Ich habe bemerkt, das die gtx (egal welche) ein fehler meldet im Geräte Manager, falls der vmware Grafik Treiber aktiviert ist. Und als aktiv un voll funktionsfähig, sobald ich den vmware Grafik Treiber deaktiviere.


(Zeil des ganzen ist es 3-5 Geräte mit nur einem zu ersetzten und in den keller zu verfrachten für weniger Lärm in der Wohnung.)

[Dayworker]

Bis auf die 2GB vRAM erstmal nichts.

[Vivian]

Leider funktioniert es auch nicht unter 5.1. Bildschirm bleibt einfach schwarz.
Gibt es irgendwelche Möglichkeit unter Win, oder Linux zu überprüfen, ob das System mit diese Konfiguration gpu durchreichen kann?
Ich finde es recht seltsam dass das System alles als OK meldet. Und auch in VM gpu auftaucht und als Funktionierend angezeigt wird. Aber es trotzdem nicht funktioniert.
Würde es vll. mit eine ATI Karte besser funktionieren?

In der wiki (http://en.wikipedia.org/wiki/List_of_IO ... g_hardware) werde mehr ATI karten als compatible angezeigt als bei NVIDIA.

[Dayworker]

VMware unterstützt offiziell nur einige wenige Geräte über Passthrough und auch nur mit diesen garantiert VMware den Betrieb. Alles andere ist ein Kann kein Muß und scheitert manchmal schon an einer Bios/Firmware-Version.

Schau mal bei http://vm-help.com vorbei. Da gibt es mehrere Einträge zu erfolgreiche durchgereichten PCI/PCIe-Geräten. Beachte dabei aber immer, welche bis auf den letzten Buchstaben genaue Geräteversion durchgereicht werden konnte. Leider stehen zu einige Geräten keine genauen Angaben dabei, was die Erfolgsmeldung dann eigentlich negiert. Einige Hersteller ändern den Chip bei weiter gleichlautender Gerätebezeichnung und das verändert logischerweise alles
Bei Wikipedia steht insofern auch nichts erhellendes weiter drin. Da sind gerademal zwei AMD/ATI-GPUs gelistet. Von der Warte sind zwei natürlich mehr als Null, aber eine verlässliche Aussage kann man daraus nicht ableiten.

Im professionellen Virtualisierungsumfeld ist Passthrough sowieso Tabu, da sich eine solche VM nicht mehr einfach auf einen anderen Host migrieren läßt. Was VMware da unter 5.5 noch mit ihrem erweiterten vGPU-Support erreicht, wird erst die Zeit zeigen. Bis jetzt werden jedenfalls nur die nVidia Grid K-Reihe und die Quadro's 4000/5000/6000 sowie Tesla M2070Q unterstützt.

[Vivian]

Funktioniert leider nichts.
Unter XenServer blieb das Display auch schwarz. Obwohl offensichtlich CUDA funktioniert hat und es auch gerendet wurde. ... Sehr seltsam
ESXI 4.x ist auf der vmware Seite gibt es leider nicht mehr zum laden.

Ich werde jetzt ausschaue nach eine zu Quadro moddbare GTX karte ausschau halten.

[Dayworker]

Den 4er ESXi kannst du nachwievor runterladen, hab's grad nochmal probiert. Einfach auf http://vmware.com neben Products, Support auf Download gehen und dort den vSphere Hypervisor(ESXi) auswählen. Auf der sich öffnenden Seite wählst du statt der voreingestellten 5.5 die 4.1 aus und der Downloadlink bringt dich nach http://www.vmware.com/go/get-free-esxi4-en, wo du nach der üblichen Anmeldung die aktuelle 4.1U3 bekommst.

Wegen der GTX schau mal auf http://eevblog.com vorbei und such dort im Forum nach "nvidia".

[Vivian]

Vielen Dank für die Links.
Ich habe auch noch diese Seite gefunden http://www.davidgis.fr/blog/index.php?2 ... -6000-bios

Autor moddet die gpu's für XEN passthrough. Mehreren berichten zu folge funktionert das 1A.


PS.
Schade das es mit normalen karten nicht geht. Dann würden wohl auch so keine PCI (ohne e) funktionieren.

[Dayworker]

Probiere eine normale PCI-Karte doch einfach aus. Es kann ja eigentlich nur besser werden, zumindest wenn du ein MB hast, welches noch einzelne PCI-Slots hat. Bei vielen aktuellen ist das nicht mehr der Fall, da dort ein Bridge-Chip zum Einsatz kommt und Passthrough zusätzlich im Wege steht.

Der Link mit der geänderten Bios wird dir nur weiterhelfen, wenn du einer GTX480 noch habhaft werden kannst. Die werden inzwischen zu astronomischen Preisen gehandelt und der Energieverbrauch einer GTX480 ist auch nicht zu verachten, mal von der Lautstärke ganz abgesehen.

[Vivian]

Einzelne PCI Karten werden wunderbar durchgereicht und funktionieren auch.
Habe im keller noch verschiedene netzwerk, audio, irgend ein raid controller und firewire karte gefunden und ausprobiert. Alles hat funktioniert. Nur die GPU halt nicht.


Gtx480 kostet so momentan zwischen 100 und 200€ das finde ich nicht unbedingt viel. Auf jeden Fall weniger als eine richtige Quadro karte. Vll. wird es auch eine ATI https://communities.vmware.com/message/1668739
Lauter als meine gtx260 oder das gesamte z800 (mit seinen 8 lüftern) wird es denke ich mal nicht


Ich habe vor das teil in den Keller zu stellen, mir ein dell venue 11 tablet mit dem dock zu kaufen (dock hat ein 1gbe port). Und sobald ich mehr Leistung brauche (Video Schnitt, 3d Rendering und ab und zu spiele), mit mit dem HP RGS zu eine VM mit GPU zu verbinden.

Zusätzlich soll da noch pfsense, und NAS OS (hier passen bis zu 10x3.5 festplatten) drauf laufen.

[Vivian]

Hallo,
ich habe bei einem bekanntem eine Radeon HD 7850 ausgeliehen. Diese hat wunderbar beim passthrough funktioniert. Ich konnte ganz normal die Radeon Treiber installieren.
Und alle Programmen die OpenCL, OpenGL oder 3D-X genutzt haben, haben wunderbar ihr dienst verrichtet.

Jetzt wollte ich mir 4 davon kaufen.
Jetzt aber meine Frage.
Werde die GPU's bei nicht Gebrauch ausgeschaltet.
Oder bleiben die immer Aktiv, auch wenn keine VM gestartet ist?

[coyote]

Ich würde sagen durch eine Strommessung kann man das ganz einfach rausfinden

[Vivian]

Ja, bliebt mir wohl nichts anderes übrig
Wird aber erst in Jahr 2014 passieren
Nu erstmal alle geschenke verpacken und auspacken

[Dayworker]

Die AMDs sollten dann eigentlich im Zero Core Modus verweilen, aber wenn man seinen Server schon mit Passthrough und dann gleich vierfach auf Anschlag bringt, dürften abgeschaltete GPU-VMs die Ausnahme bleiben.
Was der ESXi aber daraus macht, würde mich auch interessieren.

[Vivian]

So, habe mir jetzt diese Karte gekauft.
http://www.amazon.de/gp/product/B0081LD ... UTF8&psc=1

Funktioniert in Passthrought wunderbar.
Habe nur die karte übergeben und sonnst nichts. Keine pci.hole parameter

Sind ist ein 3dmark benchmark
http://www.3dmark.com/3dm11/7777342

[Vivian]

wohl etwas zu früh gefreut.
3d Funktioniert nur, wenn es ein Monitor an den esxi server angeschlossen ist.

[UrsDerBär]

Das wiederum ist logisch. Der Bildschirm muss an die Graka angeschlossen sein die Du durchgereich hast. Sonst kann das nicht funktionieren. Die Berechnungen für den Outpout macht ja diese Karte. Das heisst für einen Verwendung auf Distanz brauchst Du noch einen Extender oder eine PCoIP-Karte. Die PCoIP-Karte musst du wiederum durchschleusen, damit du USB-Support hast für die Tastatur + Maus.

Das gibt ein wunderbares Gemurkse das vielleicht läuft, vielleicht aber auch nicht. Ich versuche ja auch allerhand Alternative Dinge aus, aber das ist ausschliesslich eines: Murks

Also entweder eine virtualisierbare Graka verwenden, obwohl das aktuell noch etwas in den Kinderschuhen steckt aber schon ordentlich funktionieren 'soll', oder aber eine eigene Maschine wo viel Grafikleistung gefordert wird. Diese kannst dann auch herunterfahren wenn sie nicht gebraucht wird.


Ansonsten bleibt dir als Alternative nur Windwos mit HyperV wo Du den Host für dich nimmst und den Rest in VM's bereitstellst. Dann hast alle diese Probleme nicht. Ist natürlich auch nur für daheim oder eine Entwicklungsumgebung sinnvoll.

[Dayworker]

Wenn die Graka noch eine VGA-Buchse hat, kannst du dieser über 3 kleine Widerstände auch die Existenz eines Monitors vorgaukeln.

[UrsDerBär]

Das wird ihm aber nicht viel helfen. Ausser der Treiber von VmWare berücksichtigt bei seiner Anzeige auch die Berechnungen von einer allfälligen Karte.

Was anderes: Wie greifst du überhaupt auf die VM zu? RDP? vSphere Client? Teamviewer?

Bei Teamviewer würde ich die Chance sogar als recht hoch ansehen, dass es dennoch klappt. Der packt es auch CAD-Schirme mit OpenGL Berechnungen zuverlässig und einigermassen flüssig zu übertragen. Kommt halt auf die Ansprüche drauf an.

[Vivian]

@UrsDerBär naja, logisch ist es nicht (zumindest nicht für mich )

Wenn Monitor angeschlossen ist. Und ich aus entfernung darüber mit HP RGS zugreife, dann funktionieren die 3d Programmen wie immer (habe nur cinebench und 3dMark ausprobiert.)
Stecke ich den Monitor ab, dann funktioniert es immer noch ... bis zum VM neustart.


Leider hat die Karte kein VGA mehr, nur 2xDVI, HDMI und DisplayPort

Es macht doch irgendwie kein sinn eine VM auf dem Server zu starten, gpu übergeben und dann doch direkt am Server zu sitzen?


HP RGS -> http://www8.hp.com/us/en/campaigns/work ... tware.html

mit HP RGS merkst garnicht, das du auf einem entferntem Rechner arbeitest. 3d (OpenGL und DirectX funktionieren ganz normal, auch im FullScreen mode). USB Redirect ist da auch schon von haus aus implementiert (Probiert mit einem USB Stick und 3dconnexion maus)

[UrsDerBär]

OK, also mit einer Art Fernwartungstool. Bei den guten geht das tatsächlich.

Bei solchen Konstrukten ist meist das Problem, dass dann die normale Grafikkarte nach dem Neustart als die Primäre Karte angesehen wird. Ähnliches Problem wie wenn man eine Onboard-Grake für z.B. IPMI auf einem Workstation-Board hat.

Die Lösung ist nun: Entweder die VmWare Graka komplett zu entfernen bzw. in Windows zu deaktivieren (GeräteManager) oder sicherstellen, dass die getätigten Einstellungen erhalten bleiben. Was schwierig wird, wenn die Graka sagt, dass sie keinen angeschlossenen Screen hat und die notwendige Auflösung etc. durchgibt. Also entweder Screen angeschlossen lassen und nicht verwenden oder herausfinden wie die Einstellungen hart gesetzt werden können, damit sie immer verwendet werden.

Aus eigener Erfahrung ist das einfachste die nicht erwünschte Grake zu entfernen oder zu deaktivieren. Alles andere gibt wieder ungewöhnliche Nebeneffekte wie plötzlich geänderte Auflösungen, Aktivierung von einem anstatt zwei Screens und vieles mehr. Ob einer VM das egal ist, kann ich nicht sagen.

[Dayworker]

Die VMware-Graka zu entfernen ist nutzlos, nach einem VM-Reboot ist sie wieder da, wenn man die wenigen dazu geschriebenen Postings durchliest.