SATA Controller PCIe für ESXi5.1U1 für Passthrough gesucht

[forum-merlin]

Hallo Forum,

ich brauche mal eben Eure Hilfe.

Ich betreibe seit längerem einen ESXi Server und mache viel mit Direct I/O Passthrough

Jetzt gingen mir die PCIe Steckplätze aus, und daher habe ich mir ein neues Z77 Board von AsRock gekauft (Extreme 4)

Jetzt hat das Ding aber keinen normalen PCI mehr, und daher kann ich meinen billigen 20 EUR Sata Controller nicht mehr nutzen.

Jetzt brauche ich 2 neue billige SATA Controller die ich per passthrough an die VMs durchreichen kann.

Gut wäre:
2x SATA 6Gb/s Ports pro Karte

Mehr brauche ich nicht.

Ich mache in den VMs Software RAID, und das mit Absicht!!!
HW Raid ist mir zu heikel.
Wenn die Karten mal abrauchen habe ich ggf Probleme die Karte nochmal zu bekommen.
Mein SW Raid kann ich auf jedem anderen Rechner wieder zum Laufen bringen.


Was könnt Ihr empfehlen, das auch wirklich per esxi 5.1U1 als passthrough Device funktioniert?

Optimal wäre gleich mit Links zu idealo oder geizhals at/de


Vielen Dank Euch schonmal!

Da es drängt, wäre ich froh so schnell wie möglich Infos zu bekommen!!

Gruß

der Merlin

[weigeltchen]

Ich habe da einen heißen Tip, der da lautet Suchmaschine deines Vertrauens. Was anderes würde ich jetzt auch nicht machen, um passendes Zeuchs, was auch noch billig sein soll, für das genannte Board zu finden.

[Dayworker]

Wenn es dir nur um Sata geht, wieso reichst du dann nicht einfach den Chipsatz-Controller durch?
Wieviele Funktionen deines Z77-Mainboards willst du denn noch durch den Einsatz des ESXi verschenken?

Mit grosser Sicherheit wird dir niemand eine Empfehlung für Passthrough geben können. Dazu wird es zum einen zu selten benutzt, die VMware-Liste ist erfreulich kurz und zum anderen verschwendet keiner seine Zeit mit dem Durchreichen eines Sata-Controllers. Mehr Glück dürftest du damit auf der immer mit Vorsicht zu geniessenden Seite http://vm-help.com haben, wenn die dortigen HW-Angaben bis zum letzten Buchstaben auch mit deiner HW übereinstimmen.


Richtig lustig in dem Zusammenhang mit einem Desktop-Chipsatz finde ich nur deine Aussage, daß dir ein HW-Raid zu heikel ist und du das jetzt in SW machst. Du nutzt einen Chipsatz ohne ECC-Support und bekommst daher nicht mal eine schleichende Datenkorruption aufgrund von Speicherfehlern mit. Selbst der Einsatz von ZFS kann da nichts retten, da du ja eh keine Speicherfehler aufgrund fehlendem ECC-Support mitbekommen würdest. Mich würde daher echt interessieren, weshalb dir ein HW-Raid zu heikel ist.

[forum-merlin]

Wenn es dir nur um Sata geht, wieso reichst du dann nicht einfach den Chipsatz-Controller durch?

Das tue ich doch.
Der OnBoard Controller ist an eine VM komplett durchgereicht.
ESXi ist auf einem USB Stick installiert.
Der Datastore ist auf einer HDD die an einem SATA Controller hängt der jetzt eben wegen PCI und PCIe nicht mehr passt und für den ich jetzt hier in dem Thread Ersatz suche.
Ein weiterer PCIe SATA Controller wird für eine weitere VM gesucht, damit ich da dann das SW-RAID1 machen kann und wieder an eine VM durchreichen kann.

Wieviele Funktionen deines Z77-Mainboards willst du denn noch durch den Einsatz des ESXi verschenken?

Die Funktionen die ich durch das Mainboard bekomme sind für mich nicht so wichtig. Ich will einen ESXi mit passthrogh mehr nicht!
Grund ist einfach, dass ich meine HDDs direkt und ohne VMDK an die einzelnen VMs durchreichen will, DVB-S2 Karten, Netzwerkkarten natürlich auch.

Ich nehme für das Datengrab die internen SATA Schnittstellen, und bruache da nichtmal RAID sondern nur Encryption
Für eine andere getrennte VM will ich ein RAID1 machen, aber ohne encryption

Mehr will ich nicht.

Der Z77 Chipsatz kann natürlich mehr. Keine Frage, aber das einzige Feature das ich sicher brauche ist das VT-d mit meinem i5

Das Z77 habe ich nur gekauft weil es da recht sicher war, dass es VT-d kann.

Richtig lustig in dem Zusammenhang mit einem Desktop-Chipsatz finde ich nur deine Aussage, daß dir ein HW-Raid zu heikel ist und du das jetzt in SW machst. Du nutzt einen Chipsatz ohne ECC-Support und bekommst daher nicht mal eine schleichende Datenkorruption aufgrund von Speicherfehlern mit. Selbst der Einsatz von ZFS kann da nichts retten, da du ja eh keine Speicherfehler aufgrund fehlendem ECC-Support mitbekommen würdest. Mich würde daher echt interessieren, weshalb dir ein HW-Raid zu heikel ist.

Ich habe kein Glück mit Controller Karten.
Wenn ich zurückblicke habe ich schon etliche Karten gehabt die mir abgeraucht sind. Und wenn es drängt dann habe ich keine Ersatzkarte da. Deswegen SW RAID, da ich dann das RAID jederzeit wiederherstellen kann.


Mich würde mal interessieren wie Du das realisieren würdest...
Designe mir doch mal mein Scenario.
Bedenke auch, dass ich HDD Funktionen der Disks mit hdparm steuern will. z.B. spinndown oder writecache modification etc.
Weiter gehts mit DVB-S2 Karten und Netzwerk I/O und DMZ
(OK, das Netzwerkthema mit DMZ kann ich auch über vSwitche lösen)

Ziel am Ende soll sein, dass ich die HDDs aus dem Rechner ausbauen kann, in einen anderen Rechner einbauen kann, eine LiveCD starte, die HDD einhänge, die passphrase eingebe, und die Daten auf den anderen Server den ich noch nicht erwähnt habe entschlüsselt rüberkopieren kann.

Genauso mit der anderen VM
Beide Platten des RAID1 einfach in einen anderen Rechner, und per LiveCD oder einer minimalen Ubuntu Installation mounten und Daten wegsichern.

Und meine Testing Umgebung was verschiedene Distris angeht, oder auch mal Windows Server und Co spielereinen.

Ich lasse mich da wirklich gerne beraten. Ich habe da vielleicht auch nicht soviel Ahnung im Bereich Infrastructure Design.

Gruß

der Merlin

[Dayworker]

Ich bin etwas in Eile, aber schonmal soviel. Der ESXi ist als Dauerläufer konzipiert und unterstützt von daher kein Spindown. Da Passthrough nicht ganz unkritisch ist und dem Wissen des ESXi als Dauerläufer, verstehe ich nicht so recht, weshalb du diese Kombi einsetzt. Zumal WOL auch nicht mit jeder HW zusammenspielen mag.

[Dayworker]

Bei dem was du alles durchreichen willst, würde ich mir zuerst mal die Unterlagen zur Aufteilung der PCI/PCIe-Slots raussuchen und schauen, ob alle Slots auch einzeln ansprechbar sind. Das ist nämlich beileibe nicht bei allen MBs der Fall. Häufig kommen dann vor allem bei zuwenigen PCIe-Lanes irgendwelche Bridges oder Switches zum Einsatz, die Passthrough gewaltig behindern. Wenn du ein Gerät durchreichst und ein weiteres Gerät auf demselben Bus liegt, wird dieses ebenfalls mit in die VM gehievt.

Ob oder welches PCIe-Gerät nachher überhaupt bzw zuverlässig als Passthrough läuft, kannst du entweder nur durch eigene Tests oder wie bereits gesagt, manchmal auch über http://vm-help.com rausfinden. Es hängt halt sowohl vom Gerät als auch Chipsatz, Bios und der Umsetzung von VT-d ab und nur weil ein Gerät in einem bestimmten MB erfolgreich durchgereicht werden konnte, sind das nur Anhaltspunkte, ob es auch bei dir laufen könnte. Eine Sicherheit wird es höchstwahrscheinlich nur geben, wenn zwei MBs bis auf die Revisions-Nummer gleich sind.


Bei dem was du sonst noch so durchreichen willst, wirst du ggf noch Probleme mit der Anzahl bekommen. Falls sich da nichts geändert hat, sind nur 2x Passthrough pro VM und 10x pro Host möglich. Da du jetzt aber auch noch Netzwerkkarten durchreichen willst, stellt sich mir immer mehr die Frage, wozu du den ESXi überhaupt noch brauchst?


Ob nun Adapter mit Sil- oder JMicron-Chip etwas taugen, kann ich dir nicht sagen. Solche Chips sind meist als Zusatzcontroller verbaut und daher wahrscheinlich nur selten im Dauereinsatz. Da du ja nur ein oder zwei Ports pro VM brauchst, machen HBAs wie der IBM M1015 HBA mit LSI IT-Firmware in meinen Augen auch wenig Sinn. Ich kann dir daher leider keine Controller direkt empfehlen.
Über Passthrough hab ich zwar schon mehrfach auch laut nachgedacht, bisher bin ich mit den von VMware gebotenen Möglichkeiten aber immer noch so ausgekommen. In jedem Fall würde ich erstmal klären, weshalb dir mehrere Controller abgeraucht sind. Ein Gerät sehe ich als normal an, aber spätestens beim zweiten im selben Rechner oder dasselbe Gerät in zwei Rechnern würde ich die Ursache ergründen. Für mich völlig verständlich in diesem Zusammenhang sind fehlender Potentialausgleich beim Einstöpseln, nicht komplett stromlos gemachte Netzteile oder gelieferte Gerätschaften in nichtableitfähigen Verpackungen.

[~thc]

Da du jetzt aber auch noch Netzwerkkarten durchreichen willst, stellt sich mir immer mehr die Frage, wozu du den ESXi überhaupt noch brauchst?

Zum Booten eines OS von USB, dass den Rechner zerlegt wie einen Thanksgiving-Truthahn und an die VMs verfüttert .

[forum-merlin]

Stop, stop stop!

Erstmal möchte ich Danke dafür sagen, dass Ihr Euch damit beschäftigt und mich dabei unterstützt.


Nun Schritt für Schritt...

Der ESXi ist als Dauerläufer konzipiert und unterstützt von daher kein Spindown.

Das ist mir klar. Der ESXi läuft ja auch 24x7. Die VM hat reale Platten und diese sollen spinndown machen. Das funktioniert auch. Aber eben nur dann wenn diese direkt durchgereicht sind an die VM. Da kommt Software in der Linux Distri zum tragen die die echten Parameter der HDD auslesen und verändern kann. hdparm um genau zu sein.

Das funktioniert aber nicht mit virtual disks sondern nur mit echter Hardware. Deswegen ja Passthrough

Da Passthrough nicht ganz unkritisch ist und dem Wissen des ESXi als Dauerläufer, verstehe ich nicht so recht, weshalb du diese Kombi einsetzt. Zumal WOL auch nicht mit jeder HW zusammenspielen mag.

Von WOL habe ich bisher noch nicht gesprochen. Betreibe ich auch nicht. Wie gesagt ist der ESXi 24x7 im Betrieb.

Man kann einen ESXi Server für verschiedene Dinge betreiben.
Bei mir beispielsweise schaut das so aus.

Ich habe einen Core i5 Server mit 32 GB RAM.
aktuell ein Intel DQ67SW microATX Mainboard das jetzt wegen fehlender PCIe Schnittstellen gegen das AsRock Extreme 4 ausgetauscht wird das ein reines ATX Board mit mehr Anschlüssen ist.
Dann habe ich 3 netzwerkkarten
1 Onboard NIC auf dem Intel Board die ESX nicht unterstützt. Diese habe ich aber dan mit einem Customized ESXi 5.0 dann trotzdem zum Laufen bekommen
2x Intel 1GBit GT PRO NIC´s

dann noch USB 2.0
dann noch USB 3.0

dann noch eine PCI Sata Controller Karte

Aufbau:
ESXi auf USB Stick installiert. (Dieser USB Controller ist NICHT durchgereicht)
Datastore HDD an der PCI Controller Card (Dieser Controller ist NICHT durchgereicht)
1 NIC (NICHT durchgereicht) Management Network

VMWare 1 (Ubuntu Server) OS hat eine vmdk Disk die im Datastore liegt
Onboard SATA Controller mit 6 Ports (Durchgereicht an VM)
An diesem SATA Controller sind bisher 3 echte 3 TB Harddisks. 3 weitere können folgen
USB 3.0 Controller auch an die VM durchgereicht
USB Disk wird dann in der VM direkt erkannt
SAMBA entsprechend konfiguriert dass die Disk in der Netzwerkumgebung sichtbar ist
Ist die Disk abgesteckt sehe ich das Share zwar, aber ist halt nur so groß wie das Filesystem der VM selbst, und das ist recht klein.
auch durchgereicht ist eine DVB-S2 Sat-Karte

VMWare 2 (Ubuntu Server) OS hat wieder eine VMDK Disk die im Datastore liegt
hier soll der gesuchte SATA Controller durchgereicht werden
Dann soll hier wieder mit den OS Mitteln der VM ein Software Raid gemacht werden, und keine VMDK Disks damit ich wieder spinndown machen kann. Siehe oben.
1 NIC mit eigenem Netz

ERGEBNIS dieser 2 VMs:
- Diese zwei VMs alleine sind wie eigenständige Rechner zu betrachten
- Die anderen VMs die ich so habe brauchen keine großen Platten
- Die haben Ihre OS Disks alle im Datastore, und wenn ich Platz brauche, dann kann ich mir aus den beiden anderen VMs oben ja Netzlaufwerke mounten NFS oder CIFS eben.

Was ich jetzt also machen muss ist nur die Datastore Disk backuppen.
Die durchgereichten Disks sind mir bis auf das RAID1 egal

Und das RAID kann ich im Fehlerfall einfach aus dem Server ausbauen, und an einem anderen Rechner einstecken.

Würde ich das anders machen und nicht durchreichen wären die beiden Disks VMDKs die ich dann wieder nur mit VMWare Mitteln in Gang bekomme.

Wenn keiner auf die VMs per NFS oder CIFS zugreift gehen also schon 5 Platten in den spinndown und nur noch die Datastore Disk läuft.

Bei dem was du alles durchreichen willst, würde ich mir zuerst mal die Unterlagen zur Aufteilung der PCI/PCIe-Slots raussuchen und schauen, ob alle Slots auch einzeln ansprechbar sind. Das ist nämlich beileibe nicht bei allen MBs der Fall. Häufig kommen dann vor allem bei zuwenigen PCIe-Lanes irgendwelche Bridges oder Switches zum Einsatz, die Passthrough gewaltig behindern. Wenn du ein Gerät durchreichst und ein weiteres Gerät auf demselben Bus liegt, wird dieses ebenfalls mit in die VM gehievt.

Das ist mir schon klar.
Das kenne ich schon von dem DQ67SW Board. Aber da ist ESXi relativ intelligant und sagt dir schon das och andere Komponenten mit druchgereicht werden, oder dass das nicht geht, weil ein Teil schon an XY durchgereicht ist.

Wie gesagt habe ich es ja schon so laufen. Man kann sogar durch umstecken der PCI und PCIe Karten darauf Einfluss nehmen.

Ob oder welches PCIe-Gerät nachher überhaupt bzw zuverlässig als Passthrough läuft, kannst du entweder nur durch eigene Tests oder wie bereits gesagt, manchmal auch über http://vm-help.com rausfinden. Es hängt halt sowohl vom Gerät als auch Chipsatz, Bios und der Umsetzung von VT-d ab und nur weil ein Gerät in einem bestimmten MB erfolgreich durchgereicht werden konnte, sind das nur Anhaltspunkte, ob es auch bei dir laufen könnte. Eine Sicherheit wird es höchstwahrscheinlich nur geben, wenn zwei MBs bis auf die Revisions-Nummer gleich sind.

Erfahrungen habe ich dabei schon gemacht. Den Teil bzgl. Revisionsnummern versteh ich nicht. Muss ich auch nicht, da ich es mit dem neuen Board einfach ausprobieren werde.

Bei dem was du sonst noch so durchreichen willst, wirst du ggf noch Probleme mit der Anzahl bekommen. Falls sich da nichts geändert hat, sind nur 2x Passthrough pro VM und 10x pro Host möglich.

Siehe oben. aktuelle Konfig sieht so aus, dass ich 1xNIC, 1xOnBoard SATA Controller und 1x USB3 Controller an EINER VM habe

Da du jetzt aber auch noch Netzwerkkarten durchreichen willst, stellt sich mir immer mehr die Frage, wozu du den ESXi überhaupt noch brauchst?

Was ist denn daran nicht zu verstehen? Warum sollte ich den ESXi nicht brauchen?
Ich habe neben den 2VM´s noch weitere. Einen Webserver zum Beispiel
Muss der denn auf dem Datengrab mit laufen? Muss der im selben Netzwerk sein wie das Datengrab?
Muss ich mir die Netzwerkperformance in meinem internen Netzwerk verbügeln weil alles über die gleiche 1GBit NIC geht die meinem Webserver meiner OwnCloud etc zugeordnet ist?
Ich habe auch eine DMZ aufgebaut.
ich habe 2 7390 Fritzboxen hintereinander und im abgeschotteten netzwerk noch eine 7270
Ich habe noch FireWall VM´s laufen
ich habe VoIP Images laufen.
Warum sollte ich also den ESXi Server NICHT brauchen?

ich kann einzelne Maschinen und damit bereitgestellte Dienste abschalten ohne dass andere Dinge davon betroffen sind nur weil sie auf einer Maschine laufen.

Und am Ende läuft nur eine Disk die nie in den spinndown geht, und das ist die Datastore Disk.
und die wird regelmäßig per CRON Job gebackupt. PowerCLI ist hier das Stichwort.

In einem Punkt gebe ich dir aber wirklich ohne Widerworte Recht. Nämlich beim ECC Speicher Thema. Aber dessen bin ich mir bewusst

Ob nun Adapter mit Sil- oder JMicron-Chip etwas taugen, kann ich dir nicht sagen. Solche Chips sind meist als Zusatzcontroller verbaut und daher wahrscheinlich nur selten im Dauereinsatz. Da du ja nur ein oder zwei Ports pro VM brauchst, machen HBAs wie der IBM M1015 HBA mit LSI IT-Firmware in meinen Augen auch wenig Sinn. Ich kann dir daher leider keine Controller direkt empfehlen.
Über Passthrough hab ich zwar schon mehrfach auch laut nachgedacht, bisher bin ich mit den von VMware gebotenen Möglichkeiten aber immer noch so ausgekommen.

Das hängt eben davon ab was man machen will, und worauf man Wert legt.
In der Arbeit habe ich auch eine völlig andere Umgebung. Da habe ich 8 NetApps und 24 Hosts und da nennt sich das auch nicht mehr ESXi sondern vCenter

In jedem Fall würde ich erstmal klären, weshalb dir mehrere Controller abgeraucht sind. Ein Gerät sehe ich als normal an, aber spätestens beim zweiten im selben Rechner oder dasselbe Gerät in zwei Rechnern würde ich die Ursache ergründen. Für mich völlig verständlich in diesem Zusammenhang sind fehlender Potentialausgleich beim Einstöpseln, nicht komplett stromlos gemachte Netzteile oder gelieferte Gerätschaften in nichtableitfähigen Verpackungen.

Dass das alles in einem Rechner gewesen sein soll habe ich ja nie behauptet.
Aber jetzt mal Butter bei die Fische. Seit 20 Jahren ist Computer mein Hobby und Beruf(ung).
Ist Dir noch nie HW kaputt gegangen?
RAM, HDDs, USB Karten etc.???
oder Dir hat einfach ein spezielles Kabel gefehlt?
Und war es dann nicht auch noch zufällig SONNTAG?

Ich habe einfach keinen Bock drauf dass ich für eine private Umgebung ein Hardwarelager aufbaue nur weil mir irgendwas kaputt geht, und ich Ersatzteile brauche um dann auf meine Daten auf einer HDD zu kommen.

Ich habe da einen heißen Tip, der da lautet Suchmaschine deines Vertrauens. Was anderes würde ich jetzt auch nicht machen, um passendes Zeuchs, was auch noch billig sein soll, für das genannte Board zu finden.

Ach sooo. Mei bin ich froh dass Du mir das sagst!
Muss kurz überlegen was ich die letzten 3 Tage gemacht habe.

Gruß

der Merlin

[weigeltchen]

Bei 8 NetApps und 24 Hosts nennt sich das immer noch ESXi 5.x. Das vCenter verwaltet Deine ESXi-Host. Wenn Dein vCenter die Biege macht, bleiben die ESXi unbeeindruckt und hosten frisch, fromm, fröhlich und frei die Gastmaschinen. Aber das weißt Du ja selbst mit 20 Jahren Erfahrung. Daher nur zur Klarstellung für die noch unerfahrenen Mitleser.

[Dayworker]

Um das mal in geordnete Bahnen zu lenken: HW ist mir auch schon mal verreckt und das entweder gleich am Anfang oder erst am Ende und natürlich immer zur ungünstigsten Zeit. Das mir aber komplette Controller abgeraucht sind, mußte ich nie erleben. Trotzdem war Murphy natürlich immer anwesend.

Weigeltchens Google-Einwand ist absolut berechtigt, da hier auch ein haufen Leute aufschlagen, die sich vorher keine Rübe gemacht haben und jetzt das Rundumsorglospaket kredenzt bekommen wollen. In den meisten Fällen sind das dann auch Leute mit wenigen Postings und man kann dann auch nur schlecht den persönlichen Erfahrungsgrad sowohl mit VMware als auch prinzipieller HW abschätzen.

Wenn du jetzt natürlich den ESXi bis aufs Messer ausreizen willst, steht dir hier niemand im Wege. Es macht nur keiner und das speziell im Zusammenhang mit Passthrough. vSphere hält so schon genügend Fallen bereit und während die Version 4.1 keine nennenswerten Probleme mit Passthrough hatte, sah und möglicherweise sieht das mit Version 5.1 immer noch ganz anders aus. Speziell die USB3-Geschichte hat sich bei vSphere5 als Bumerang erwiesen. Zum einen laufen nativ keine am ESXi-Server lokal angeschlossenen USB3.0-Geräte und zum anderen scheinen sich diese inzwischen auch nicht mehr per Passthrough durchreichen zu lassen. So zumindest ist meine Erinnerung an einige Threads unseres Forums.

Bezüglich deiner Config kann ich nur den Hut ziehen. Allerdings kannst du die Erfahrung mit dem DQ67SW-MB weder auf einen anderen MB-Hersteller noch Chipsatz kopieren. Der Q67 war als Büro-Chipsatz konzipiert und bringt daher auch normalen PCI-Support in Form einer oder mehrerer, dann meist zusammenhängender Slots mit. Bei allen anderen MBs wird sowas höchstens per Zusatz-Chip realisiert, was natürlich wieder Nebeneffekte bei Passthrough bedingt. Beim Server in meiner Sig lassen sich beispielsweise nicht alle Slots einzeln beeinflussen, es hängen also einige Slots zusammen und würden dann bei Passthrough auch recht sicher nur zusammenhängend durchgeschaltet werden können.


Kommen wir zum Thema HDDs. Ich persönlich kann mit Platten im Spindown nichts anfangen. Meine Erfahrung dazu ist, laß sie einfach laufen und solange sie laufen, kannst du meistens auch noch drauf zugreifen. Wenn sie jedoch erstmal schlafen bzw abgeschaltet sind, könnte es schwer werden. Die meisten HDD-Hersteller spezifieren nur eine gewisse Anzahl von Start/Stop-Zyklen, bis die Platte ausfällt und die damaligen IBM-Platten mit 40-80Gig waren ja regelrecht berühmt für ihre schlechten Lager, die Platten vielen bereits weit früher aus.
Auch vom energetischen Gedanken sehe ich keinen Grund für einen Spindown. Deine Router-Armada allein dürfte irgendwas zwischen 30-40W konsumieren, da fallen die 4W im Leerlauf bzw 6W im Zugriff jeweils pro Sata-Platte nicht groß ins Gewicht und mit energetisch sparsamen Platten bzw deren 2.5zölligen Geschwistern dürfte sich noch mehr Einsparpotential ergeben. Versteh mich nicht falsch, ich hab meinen Server auch nach energetischen Aspekten ausgesucht. Aber wenn beliebige SB/IB-CPUs mit einem sparsamen MB, 4GB RAM und SSD auf Werte von 30W kommen, kann ich mit einem zugegeben schwachbrüstigen H200-Raidcontroller im Sata-Raid1, Xeon-CPU und C202-Chipsatz nebst schmalen 8GB RAM sowie einer FB7170 bei einer Stromverbrauchsanzeige laut Meßgerät von 40-44W, wobei ich die FB allein mit ~10W veranschlagte, nicht so daneben liegen und die FB ist für mich mangels anderem Router im Haus ein Muß.

Die Frage nach dem Sinn des ESXi kam für mich auch nur auf, da dieser per USB gebootet und dann hardwaretechnisch wie der beschriebene Thanksgiving-Truthahn auf die VMs verfüttert wird. Ich würde mir hier vielleicht den ESXi komplett ersparen und gleich auf eine Linux-Distri setzen. Das macht dich auch wesentlich unabhängiger von HW- und/oder Passthrough-Abhängigkeiten und die Vorteile des ESXi mit seiner feststehenden vHW kommen bei dir ja eh nicht groß zum tragen, da die entscheidende HW eh drangeflanscht wird.
Als Machbarkeitstest und im Dauereinsatz ist deine gesamte Config natürlich beachtlich und zeugt auch von einigem investierten Hirnschmalz, wird aber in den Augen vieler am eigentlichen ESXi-Einsatz vorbeigehen. Cool finde ich sowas natürlich trotzdem.

[~thc]

Ich schließe mich Dayworker an. Dein Aufbau erinnert eher an einen Zwitter aus zwei eigenständigen Ubuntu-Servern und einem ESXi. Da aber die deutliche Majorität der Hardware direkt von den Linux-Servern verwaltet wird, hätte ich eher einen einzelnen Ubuntu-Server mit einer Virtualisierungslösung (Xen, KVM o.ä.) für die "kleinen" VMs daraus gemacht.

[forum-merlin]

Es ist natürlich klar, dass ich mit nur ein paar wenigen Posts hier nicht als der Guru angesehen werde.
Das ist ja auch nicht so! Ich bin ja auch kein Guru, aber ich habe ein breit gefächertes Wissen und teilweise sehr tief und speziell, teilweise aber auch keinen Dunst. Man kann ja schließlich nicht alles wissen.

Aber meine Umgebung ist ja auch recht speziell.
Das was ich hier in diesem Thread beschreibe ist auch nur einer meiner Server und nur ein kleiner aber feiner Teil.


Ich merke jedenfalls dass hier in diesem Forum sehr extrem auf die Ausdrucksweise geachtet wird. (Ich nehme aber trotzdem keine Rücksicht darauf)
Nur weil ich den Begriff "abgeraucht" benutzt habe wird scheinbar gleich davon ausgegangen, dass alles ZERSTÖRT ist, und die Feuerwehr gerufen wurde.
Ich setze "abgeraucht" mit "scheiss Fehlfunktion" gleich, die es erfordert dass man wieder seinen Kopf anstrengen muss, viel Zeit verbrennen muss und das GoogleCluster bis zu 100% CPU Usage ausreitzen muss. *<<<Achtung Scherz!" um das Problem zu lösen.

Oder auch vSphere bzw. vCenter.
Mir ist klar, was ein vCenter ist, wie es aufgebaut ist etc. Dass die Hosts weiterlaufen auch wenn das "vCenter" weg ist, und auch die VM´s selbst.
Ich bin in der Arbeit kein VMWare User, sondern der Leader-VMWare-IT-Team, und das Beschriebene ist auch nur die Umgebung für den Support bei uns. Die DEV und QA Abteilung willst Du garnicht sehen.
Aber gut, dass Du es für unerfahrene User klargestellt hast. Danke dafür, denn ich vergesse oft dass es auch Anfänger gibt die gerade erst einsteigen.


Was den Stromverbraucht angeht...
Ich denke nicht, dass in meinem Scenario das ich hier habe der Stromverbrauch im Vordergrund steht. Muss ich auch schmerzlich bei der Stromrechnung bemerken. Aber Geräuschentwicklung ist durchaus ein Thema, wenn nicht weit von dem Zeug ein Heimkino im Wohnzimmer ist.
Ich habe keinen Serverraum im Keller, oder eine Kammer wo ich das Zeug untergebracht habe. Der ESXi steht neben ein paar anderen Rechnern und Servern unter meinem 4,5m langen Schreibtisch im Büro, das zwar im Keller ist, aber keine Tür hat, so dass ich ein Grundrauschen auch im Wohnzimmer höre.

Jetzt könnte man denken, dass hier die Lüfter eine Rolle spielen....
Ja, aber auch hier habe ich mit Noctura und Co in gedammten Gehäusen gearbeitet, und teilweise auch mit WaKü

Was die Zyklen angeht, die Du angesprochen hast...
idle3 Tools und Co. Parkzyklen bei WD Green 300.000 etc. Das kenne ich alles, und habe ich bereits getuned!
Und nur mal so nebenbei... eine 2TB WD Green hatte in meinem alten Qnap über 950.000 Zyklen und war immernoch ok. ab 1.100.000 hat die Platte dann langsam mal die Krätsche angekündigt und ich habe Sie vorsorglich ersetzt


Nun zum Thema Desktop Hardware.
Das ist hier für mich wirklich eine Grauzone wo ich zugebe, dass ich mir keine großen Gedanken drüber gemacht habe wie die einzelnen Boards aufgebaut sind, welche Chipsätze wie funktionieren und das es andere Hersteller auch anders realisieren könnten.
Ich habe in dem Fall nur darauf geachtet, dass das Board VT-d kann, meine CPU VT-d kann, und habe eine Liste im Netz gefunden wo die User bestätigt haben welche Boards VT-d können und ob auch esxi5.1U1 dabei ist.
So eine Liste fehlt mir aber für PCIe Karten jeglicher Art.
Das wäre toll, dann gäbe es den Thread nicht

Abschließend zum Thema "eigenständiger Linux Server/XEN/KVM und Co"
Mag ja sein, dass ich damit auch Möglichkeiten hätte. Ich habe auch damit schon rumgespielt. Ich bin aber nunmal ein VMWare´ler.
Und aufgrund der Hardwaretrennungen die ich durch VT-d habe ist das schon recht komfortabel. Ich kann HW mal eben kurz an eine andere VM durchreichen wenn ich lust habe, weil ich dann z.B. einfach was testen will. Und nochmal... Ich kann einzelne Dienste die ich hier in meinem Heimnetzwerk bereibe ohne Beeinträchtigung für andere Dienste einfach austauschen oder sonstwas machen. Wenn ich das alles auf einem Linux Rechner machen würde, wäre ich nicht so flexibel.



Jetzt habt Ihr einen Einblick in meine Umgebung und mein (krankes) Hirn bekommen.

Ich danke Euch jedenfalls wirklich dafür, dass Ihr soviel gelesen habt, und Euch die Zeit genommen habt.

Gruß

der Merlin.

[Dayworker]

Ich finde es ausgesprochen genugtuend, neben unserem Ulli noch so ein krankes Hirn zu sehen, das alles von VMware bis auf letzte ausreizen will und dabei tagtäglich auch noch mit deren Produkten arbeiten muß oder will...


Da du eine Liste mit funktionaler Passthrough-HW angesprochen hast, die gibt es bereits seit Jahren unter http://vm-help.com samt angeschlossenem Forum. Wie bereits mehrfach von mir geäussert, sollte man aber die dortigen Angaben immer bis zum letzten Buchstaben vergleichen oder die Sache scheitert grandios. Am sichersten dürfte man da noch sein, wenn die Poster ihre PCI-IDs gepostet haben und man diese vergleichen kann. Leider werden häufig nicht alle Komponenten bis ins Detail aufgeführt, ob die HW nachher auch im eignen MB durchgereicht werden kann, ist und bleibt immer auch mit Glück verbunden. Die Chancen auf eine erfolgreiche Durchreiche sind mit Server-Chipsätzen aber meist deutlich höher, da zumindest einige Hersteller aufgrund des höheren Preislevels auch zu umfangreicheren Tests bereit sind.



[add]
Die vm-help.com-Seite ist etwas unübersichtlich und wenn man dem Forenlink zur HCL folgt, landet man nur im vSphere4-Bereich und dessen HCL. Hier mal die Links zu vSphere5 für VMDirectPath and USB Passthrough HCL und VMDirectPath and USB Passthrough Setup and Troubleshooting.

[forum-merlin]

Danke dir. Den bereich habe ich gefunden. Jetzt ist nochmal lesen angesagt. Aber heut is ja noch etwas anderes wichtig

Wenn ich was funktionierendes gefunden habe melde ich mich zur vollständigkeit nochmal

Gruss

Der merlin

[Dayworker]

Deine Anfrage zum selben Thema im "ESX / ESXi - Hilfethread" bei hardwareluxx.de hat bisher auch nur den von mir bereits erwähnten IBM M1015 hervorgebracht.
Die einfachste Lösung dürfte daher wirklich sein, deine(n) vorhandenen Sil-Controller gegen das baugleiche Modell mit PCIe-Schnittstelle auszutauschen.