VMDirectPath / PCIPassthrough - ein Erfahrungsbericht

[drnicolas]

Das Thema Durchreichen-einer-PCI-Karte-an-eine-VM taucht zwar immer mal wieder auf und ist sicherlich ein spanndendes Thema scheint aber hir dennoch nicht von allzu grosser Bedeutung zu sein.
Dennoch - ich habe mir eingebildet mit VMDirechtPath in jeder VM die verfügbare Hardware optimal zu nutzen.
Nach längerem Probieren hier der (ernüchternde) Erfahrungsbericht.

Die Testkandidaten:
- Mainboard GA-H55MUSB3 mit vt-d-fähiger CPU; BIOS F12d/g
- AVM B1 ISN-Karte
- Dialogic BRI-2M
- Adaptec 19160N SCSI-Karte

VMDirectPath ist nur möglich, wenn sowohl Chipsatz wie auch die CPU vt-d unterstützen und obendrein dieses Feature im BIOS auch aktivierbar ist und korrekt unterstützt wird.

Die ersten Tests mit Proxmox 1.8 und ESX4 scheiterten - Fehlermeldungen des Linux-Kernels besagten, dass vt-d nicht aktiviert ist.
Mit dem originalen BIOS des Mainboards liess sich keine Option zur Freischaltung von vt-d finden, vt-x schon.

Mit einem inoffiziellen BIOS (F12d) von GIgabyte liess sich mit STRG-F1 ein zusätzliches Menü "Advanced Chipset features" aktivieren - und darin gibt es einen Punkt "vt-d Enable". Dennoch blieb es bei Fehlermeldungen des Kernels( Stichwort DMAR oder IOMMU)

Das Verhalten änderte sich erst mit einem weiteren BIOS F12g.
Nach dem Aktivieren von vt-d startet der Rechner jetzt neu und schaltet selbststätig mehrfach aus und wieder ein.
Ich habe dann noch eins drauf gesetzt und den Rechner für einige Minuten komplett stromlos gemacht.
Danach wurde ESX5i testweise instaliliert und siehe da - erstmals ist unter "konfiguration - erweiterte Einstellungen" VMDirectPath auswählbar.
Man kann genau sehen, dass beide PCI-Steckplätze technisch zusammengeschaltet sind.
Dies hat zur Konsequenz, dass man die entsprechenden PCI-Geräte nur gemeinsam an eine VM durchreichen kann, nicht getrennt voneinander an verschiedene VMs.

Test 1 - Adaptec SCSI-Karte unter Win2003
Ergebnis: Die Karte ist unter Win2003 in der VM sichtbar und funktioniert. Win2003 fertigt auf einem angeschlossenen LTO2-Tape ein Backup an, das Band ist später lesbar.
Über den Datendurchsatz zum LTO-Tape kann ich nicht viel sagen; subjektiv setzt das Tape jedoch häufig ab und spult hin und her.

Test 2 - AVM B1 unter Win2003
Die Adaptec-Karte wurde in ESX5i deaktiviert, stattdessen die B1 in der VM verfügbar gemacht.
Fazit: die AVM B1 ist unter Win2003 im Gerätemanager als fehlerfrei sichtbar.
Ein Versuch mit einem Testprogramm AVM Connect32 eine Verbindung über ISDN aufzubauen scheitert dann aber - "kein freier Kanal gefunden"

Test 3 - Dialogic Diva Server BRI-2M unter Kubuntu
Nach Installation von Kubuntu lässt sich mit 'lsmod' nachweisen, dass verschiedene Kernelmodule für die Karte geladen wurden und ein Interrupt vergeben wurde.
Anschliessend wurde die Software DIVA Server for Linux 9.6 LIN installiert.
Nach erfolgreichem Abschluss fällt aber eine Fehlermeldung auf, die erwarten lässt, dass die Karteninitialisierung dennoch fehlgeschlagen ist.
Entsprechend wird auch unter der Konfigurationsseite gemeldet, dass keine Karte gefunden wurde.


Insgesamt ein eher ernüchterndes Ergebnis. Es funktioniert zwar grundsätzlich, aber dennoch scheint VMDirectPath in der Praxis kaum nutzbar zu sein. Immerhin fand der Test durchweg mit Hardware statt, die nicht für ESX5i zertifiziert ist.

Ich hatte gehofft, den Fax-Server zukünftig virtualisiert unter Linux laufen zu lassen


Vielleicht hat ja jemand noch weitere Ideen wie man doch noch alles zum Laufen bringt.

[echt_weg]

wir nutzen auf 2 unterschiedlichen hp-rechnern (keine server, dadurch auch nicht in der hcl) jeweils 2 avm b1 karten innerhalb einer vm und hatten noch nicht ein problem (selbst das upgrade von 4.1 auf 5 ging ohne probleme).
Gerade die AVM Karten scheinen problemlos zu funktionieren..

[drnicolas]

KLingt interessant.
Unter welchem OS ?

[echt_weg]

Win Std 2003 (R2) 32

[Dayworker]

VMware selbst setzte dafür mal eine Kombi von Nehalem-CPU im Socket1366 nebst passendem Chipsatz oder inzwischen auch eine AMD-CPU nebst passendem Chipsatz mit Unterstützung für IO-MMU voraus.
Dein Gigabyte Consumerboard mit H55-Chipsatz ist daher dafür denkbar schlecht geeignet.
Zumal die Liste der per PCI-Passthrough offiziell unterstützten HW bei VMware sehr übersichtlich ist und damit funktioniert sie auch. Der Rest ist neben einem anständigem Boardlayout also reine Glückssache.

[MarroniJohny]

Man kann genau sehen, dass beide PCI-Steckplätze technisch zusammengeschaltet sind.
Dies hat zur Konsequenz, dass man die entsprechenden PCI-Geräte nur gemeinsam an eine VM durchreichen kann, nicht getrennt voneinander an verschiedene VMs.

Gilt das auch für PCIe? Ich habe mir eben ein X79 Board bestellt, das VT-d unterstützen sollte...

[Dayworker]

Man kann genau sehen, dass beide PCI-Steckplätze technisch zusammengeschaltet sind.
Dies hat zur Konsequenz, dass man die entsprechenden PCI-Geräte nur gemeinsam an eine VM durchreichen kann, nicht getrennt voneinander an verschiedene VMs.

Gilt das auch für PCIe? Ich habe mir eben ein X79 Board bestellt, das VT-d unterstützen sollte...

Hast du mal bei Intel nachgeschaut, ob VT-d inzwischen korrigiert wurde :?:


[add]
Ich hab grad http://ht4u.net/reviews/2011/intel_sandy_bridge_e_hexa_core/index8.php vom 14.11.2011 gefunden. Daraus geht hervor, daß VT-d zumindest im C1-Stepping noch nicht funktioniert und das erst in einigen Wochen mit dem neuen Stepping C2 behoben werden soll. Von daher und genauso für die Unterstützung von PCIe3.0 würde ich also noch etwas warten. Letzteres auch nur, weil sich bisher keinerlei PCIe3-Karten auf dem Markt befinden.

[MarroniJohny]

VT-d lässt sich aktivieren im BIOS, dort hat es diverse Optionen dazu.

Wenn ich eine Grafikkarte und USB Maus/Tastatur durchreiche, kann ich dann auch spielen drauf? Ich habe es einmal versucht, bekam aber den Desktop nicht auf den Bildschirm. Die Tastatur der Konsole funktionerte auch nicht mehr, so dass ich ESXi neu aufsetzten musste. (Ich habe wohl zu viele USB Ports weitergeleitet...)

Aber macht Spass mit 32 GByte RAM

Ich habe nun das Gigabyte GA-X79-UD5, X79 und den Intel Core i7 3930K und das mit VT-d scheint aber zu funktionieren.

[Dayworker]

Wenn ich eine Grafikkarte und USB Maus/Tastatur durchreiche, kann ich dann auch spielen drauf? Ich habe es einmal versucht, bekam aber den Desktop nicht auf den Bildschirm. Die Tastatur der Konsole funktionerte auch nicht mehr, so dass ich ESXi neu aufsetzten musste. (Ich habe wohl zu viele USB Ports weitergeleitet...)

Schau dir mal http://vm-help.com an, wie du eine durchgereichte Grafik wieder zurück oder das USB-Problem behoben bekommst. Die Seite listet auch einige erfolgreiche GPUs.


[add]
Ausgehend von http://www.computerbase.de/news/2011-12/sandy-bridge-e-lieferprobleme-und-neues-stepping/ würde ich sagen, daß deine Probleme auch damit zusammenhängen könnten.
Das fehlerbereinigte Stepping C2 soll ja erst im Januar kommen. Es bringt neben einem neuen S-Spec-Code auch eine MM-Nummer mit und benötigt auch ein Bios-Update...

[MarroniJohny]

Ja, ich weiss, Du hast mich gewarnt

Ich hatte mich vor allem aufs Mainboard konzentriert, der Intel Seite traute ich bezüglich Prozessor. Da zu dem Zeitpunkt so wie heute VT-d als unterstützt angegeben wird, werden die mir den Prozessor hoffentlich austauschen. Auf das Mainboard hatte ich extra gewartet wegen VT-d. Aus diesem Grund gabs auch kein ASUS Board.

Falls ich keinen neuen Prozessor bekomme und ich mal tatsächtich auf VT-d dringend angewiesen sein sollte, kann immer noch mein Desktop als Server hinhalten. Der hat auch VT-d.

[irix]

Die frage ob VT-d funktionieren wuerde wenn mn C1 deaktiviert? Der Artikel beschreibt ja "nur" das es zusammen nicht funktioniert.

Gruss
Joerg

[Dayworker]

Die frage ob VT-d funktionieren wuerde wenn mn C1 deaktiviert? Der Artikel beschreibt ja "nur" das es zusammen nicht funktioniert.

Das Board hat damit keine Probleme, aber Intel listet seit dem 2011-12-09 für das C1-Stepping der "Intel® Core™ i7-3960X Processor Extreme Edition & i7-3930K Processors" ein VT-d Erratum unter PCN111178-00.
Das fehlerbereinigte Stepping soll dem PDF zufolge erst ab dem 2012-01-20 ausgeliefert werden und dürfte somit der Reihe "Sandy Bridge-E Xeon E5" entsprechen. Als Schmackerl der Xeon E5 Reihe werden auch die zwei in den i7-3960/3930 EE-Versionen noch deaktivierten CPU-Kerne wieder reaktiviert und das stehen 8 Kerne + 8 weitere HT-Kerne zur Verfügung.