iSCSI Verbindung zu AIO-Storage

[Michael0711]

Hallo Community,
ich bin VMWare-Neuling und arbeite mich gerade in den kostenlosen VSphere Hypervisor ein. Da das System nur für den Heimeinsatz "zum Lernen" gedacht ist, habe ich nur einen Hardware-Server mit Raid-Controller und 32GB RAM. Den ESXi habe ich auf einem Stick installiert, das erste Datastore auf einer SSD. Dort habe ich einen Windows Server 2012 installiert (habe Technet), den Raid-Controller mit PCI-Passthrough daran weitergereicht und ein iSCSI Target eingerichtet, welches ich dann wieder mit dem ESXi verbunden habe.

Mein Problem dabei ist, dass er nach dem Einschalten des Hardware-Server diese iSCSI-Verbindung nicht initialisiert und ich von Hand danach suchen muss. Die WIndows Server VM, welche das Target bereitstellt wird automatisch gestartet. Die VMs auf diesem LUN werden mir dann als "unknown" angezeigt. Durchsuche ich die Adapter, findet er das Target sofort und meine VMs sind wieder da. Gibt es eine Möglichkeit das zu automatisieren?

[dhx256]

Ja, mein Ansatz waere die PowerCli auf dem Windows Server zu installieren, der dann ein rescan anstoesst.

Lesetipp:
http://kb.vmware.com/selfservice/micros ... Id=1028368

Gruss martin

[mbreidenbach]

Hmm... bei der kostenlosen ESXi Lizenz könnte es sein daß das nicht klappt da da die APIs readonly sind

[Dayworker]

hy gea,

danke dir, für die Info.

Nur kurz die Frage warum funktioniert iSCSI hier nicht. Liegt das an Nappit oder an dem Solaris?

Das ist ein ESXi Problem.
All-In-One bedeutet ja dass alle Daten inkl der ESXi VM's auf ZFS storage liegen.
Der steht aber erst zur Verfügung, wenn die Storage VM gestartet ist, nicht bereits beim Start von ESXi -
es gibt eine Verzögerung von ca 60s.

Das ist bei NFS kein Problem, iSCSI mag das nicht. Da müsste man die datastores immer manuell mounten.

Das bedeutet dann ja im Umkehrschluß, daß du dieses Problem mit NFS statt iSCSI nicht hättest...

[Michael0711]

Das mit der PowerCLI werde ich morgen mal ausprobieren. Schaden kann es ja nicht.

Was haltet ihr generell von einer VM Storage in einem AIO Homelab? Ich habe mich aus Performancegründen dafür entschieden, da Windows so direkt auf den Raid-Controller zugreifen kann. iSCSI habe ich wegen seiner Einfachheit gewählt. Ich bin unter Linux absolut nicht fit und will deswegen in der Microsoft-Welt bleiben.

[Michael0711]

Das Versuch ist leider gescheitert. Das cmdlet "Get-VMHostStorage $myHost -RescanAllHba" hat nicht funktioniert, mit dem Hinweis, das die Lizenz das nicht zulässt. Echt schade

Ich fürchte, ich werde das mit dem virtualisierten Storage wieder rückgängig machen müssen und den ESX direkt darauf zugreifen lassen.

[irix]

Es gibt ein Plugin[1] fuer "esxcli" womit sich CMDs ausfuehren lassen. Evtl. kann man es auf diese Weise tunneln.

[1] http://www.v-front.de/2013/01/release-e ... trary.html

Gruss
Joerg

[Michael0711]

Nur der Vollständigkeit halber: Mit NFS funktioniert ist. Jetzt hab ich nur das Problem, dass die Performance deutlich nachgelassen hat. Ich habe es noch nicht gebencht, aber ich merke es sehr deutlich.

[Michael0711]

Wie würdet ihr in einem AIO Testserver mit einem RAID-Controller (LSI 9265-8i, 4xHD,1xSSD) den Storage bereitstellen? Direkt im ESX, über Passthrough mit NFS oder über Passthrough mit iSCSI; die letzten beiden jeweils mit Windows Server.

[UrsDerBär]

Local Storage kann ich bis jetzt auch nur wenig produktive Erfahrung. Aber grundsätzlich würde ichs aufgrund dem vereinfachten Filemanagement mit einer Storage-App unter Windows machen. Dann hast die Datastores auch unter den anderen Server zu Verfügung.

Seit NFS mit 2012 supported ist, spricht imho eigentlich nichts dagegen. Vorteil von Passtrough ist, du kannst den Controller direkt ansprechen und auswerten. Zudem dürfte NFS einges robuster als VMFS sein.

[Michael0711]

Ok, dann setze ich das mal so um. Bekommt der Storage dann sein eigenes Subnetz? Oder macht das erst bei sehr vielen Netzwerkgeräten Sinn?

[Dayworker]

Zudem dürfte NFS einges robuster als VMFS sein.

Ausgehend von einer Aussage von Ulli aka continuum in einem anderen Thread ist NTFS in jedem Fall robuster als VMFS. Ob das bei NFS auch der Fall ist, hängt in meinen Augen ausschließlich vom darunterliegenden Dateisystem ab.

Seit NFS mit 2012 supported ist, spricht imho eigentlich nichts dagegen.

Aber weshalb sollte man nur für NFS extra einen Server2k12 aufsetzen, der zwar von den HW-Anforderungen überschaubar ist, der damit jedoch kaum performant arbeiten dürfte. Vom Bruch in der GUI will ich garnicht erst anfangen.
Von der Warte würde ich mich doch eher in ein beliebiges Linux und die Freigabe per NFS "einarbeiten". Mehr als OS aufsetzen und NFS-Freigabe einrichten dürfte es ja wohl nicht sein.

[Michael0711]

Klar braucht man nur für NFS keinen Windows Server, aber über Technet kosten sie mich nichts und mit Linux kenne ich mich null aus. Hardwaremäßig habe ich nen i7-3770t und 32GB Ram. Die Storage VM läuft auf ner SSD. Reicht das nicht?

[Dayworker]

Die Frage kann ich dir HW/SW-technisch leider nicht vollständig beantworten, dazu fehlen mir Erfahrungswerte mit Server2k12 und ich war aufgrund deinen bisherigen Angaben irgendwie auch von Server-HW ausgegangen. Jetzt aber mit einer schicken 45W Quadcore-Stromspar-CPU als Desktop-Version mit 2.5GHz Nominaltakt und einem HW-RAID-Controller (LSI 9265-8i, 4xHD,1xSSD) sowie der Maßgabe eines AOI-Gerätes bin ich etwas verwirrt. Für ein AOI-Gerät würde ich inzwischen immer auf ECC-RAM bauen und das unterstützt weder deine CPU noch wird diese CPU von einem ECC-fähigen Chipsatz überhaupt unterstützt. ECC-RAM ist natürlich keine Garantie für ein fehlerfreies System, aber zumindest wird man bei Speicherfehlern gewarnt und falls du doch mal mit ZFS in Berührung kommst, kannst du dort Speicherfehler absolut nicht gebrauchen.

Deine CPU wird damit sicherlich fertig werden, die bereits genannten "abers" bestehen aber weiterhin. Da hilft es in meinen Augen auch nicht, daß du die Win-Server zumindest für dich kostenlos bekommen kannst. Wenn auf der HW nachher noch weitere SW-Schwergewichte laufen sollen, hängt deren Schwuppdizität fast ausschließlich von der Performance des über das NFS-Storage gebietenden Gast-OS ab. Die Archilles-Verse der VMware-Virtualisierung ist durch den in SW abgebildeten Gast-Plattencontroller immer die Schreibleistung im Gast und am Ende die Leistungsfähigkeit des Storages. Von der Warte wird dir ein Server2k12 einiges an CPU-Leistung binden, die dir an anderer Stelle fehlen wird und die SSD hilft dir dabei kein Stück weiter. Zumindest solange nicht, wie das NFS-OS über genügend vRAM verfügt. Erst beim Swappen bringt die SSD ihre Vorteile richtig zur Geltung, was natürlich nichts daran ändert, daß sobald das NFS-OS damit anfängt, dessen Performance einbricht. In welchen Umfang oder ob du mit der nachher verbleibenden ESXi-Performance leben kannst, wirst du nur durch Testen herausfinden. Die persönliche Schmerzgrenze sieht halt bei jedem anders aus und manch einer hier im Forum richtet sogar alles am unbedingten Energiesparen mit Spar-CPU und 2.5" NB-Platten aus.

[Michael0711]

@Dayworker: Vielen Dank für Deine sehr ausführliche Antwort!

So wie sich das für mich anhört ist NFS hardwarehungrig. Macht unter den Voraussetzungen ein virtualisierter shared storage überhaupt Sinn? V.a. aus Gründen der Performance wollte ich local storage vermeiden, damit direkt auf den LSI zugegriffen werden kann. Wenn dieses "mehr" jetzt aber wieder durch NFS oder iSCSI bzw. durch das OS zunichte gemacht wird, spare ich mir das.

Herauszufinden wird das tatsächlich wohl nur durch testen sein. Da dies aber sehr viel Zeit in Anspruch nehmen wird, habe ich gehofft hier im Forum vorab auf Erfahrungswerte zu stoßen. Sicherlich macht ihr das auf eine viel professionelleren Stufe bei Produktivsystemen, aber der ein oder andere hat doch bestimmt auch einen ESX daheim und steht vor ähnlichen Fragen

Gerade weil ich ich im Vorfeld vielfach über die Notwendigkeit einer leistungsfähigen Storage gelesen habe, habe ich den den RAID-Controller investiert. Aber da das System bei mir daheim steht, will/muss ich auch den Stromverbrauch im Auge haben.

[Dayworker]

Nicht NFS ist hardwarehungrig sondern ausgehend von Server2k8-R2 der Server2k12. Von daher wärest du mit einem schlankeren OS mit NFS-Support besser beraten.
Local Storage bzw DAS ist in den meisten (wenn nicht sogar fast allen) Fällen schneller, ein Shared Storage ob nun per SAS, FC, iSCSI/NFS oder die VMware-VSA (enthalten ab Essentialsplus und Acceleration Kits sowie als Einzelprodukt) realisiert, ist dagegen die Voraussetzung, um weitergehende vSphere-Funktionen überhaupt nutzen zu können.

Einige hier im Forum wie "e-e-e" setzen auf ZFS und unser User "SUNMorph" ist gerade beim Aufsetzen. Schau dir dazu auch mal http://www.napp-it.org an und lies dich im ZFS-Stammtisch ein. "gea" ist übrigends der Produkt-Entwickler.
Falls du dich dafür entscheiden solltest, bist du allerdings HW-technisch nicht optimal ausgerüstet, da dir ECC-Support in CPU & Chipsatz fehlen und dir als Plattencontroller vermutlich auch die normalen Datenträger-Ports (6 Ports bringt inzwischen wohl fast jeder Chipsatz mit) ausreichen. Die Funktionalität des Raid-Controllers wird dabei ja durch ZFS realisiert und von daher wäre ECC-RAM angebracht, da die Checksummen jetzt durch die CPU berechnet werden und ein nichterkannter RAM-Fehler dies "ad absurdum" machen würde.

Nichtdestotrotz läuft sowohl ZFS als auch ein ESXi-Server ohne ECC-RAM, allerdings kann beides dann nicht ganz so zuverlässig sein wie mit. Das Fake-Raid in meiner Sig beispielsweise überprüfe ich wöchentlich auf Fehler und es werden immer 1 oder 2 Unterschiede gefunden, die sich manchmal auch vorher schon in schlichten BSODs geäußert haben. Das System war halt zum einen seit 12/2006 im Dauerstreß (3 BOINC-VMs im 24/7-Betrieb), es wird nicht jünger und war als Desktop-PC eigentlich auch nie für den Server-Ersatz konzipiert worden. Das es überhaupt solange durchgehalten hat, wenn man mal von Netzteilen und HDDs absieht, dürfte mit dem weitestgehenden Verzicht auf Ausstattung zusammenhängen. Dell hatte damit Legacy-free (kein Floppy, IDE, Serial- & Parallel- sowie PS2-Port) bis auf die verbauten PCI-Slots fast vollständig umgesetzt und auch sonst sieht es mager aus. Mehr als 7 USB2.0-, 4 SATA-, 2 PCI- sowie 1x PCIe-x1- und 1x PCIe-x16 hat das Gerät nicht zu bieten...

[UrsDerBär]

@Dayworker: Naja, mag schon sein. Aber ich habe auch so meine liebe mühe mit Linux weil ich mich einfach deutlich zu wenig damit beschäftigt habe. Fehlersuche und vor allem Behebung ist da ohne wirkliche Kenntnisse sehr mühsam und zeitraubend. Auch die sichere Konfiguration, einspielen von Updates etc. ist nicht unbedingt als easy zu bezeichnen (immer verglichen mit Windows wenn man seit DOS damit aufgewachsen ist).

Windows ohne ECC ist ja noch einigermassen vertretbar, aber ZFS ohne ist ein ziemlich NoGo wenn man sich so querliest. Wobei ich keine Server ohne ECC aufsetze.

Warum sollte Windows spürbar weniger Performant arbeiten als Linux? Ich behaupte mal, würde man es in einem Cluster betreiben, wäre es aufgrund der 20% des RAM als ReadCache auf Blockbasis sogar schneller. Wieviel es sonst cached, fand ich leider nicht heraus, tut es aber. Wobei ja auch ZFS cached.

Die GUI finde ich eigentlich ziemlich easy. Für die reinen Kommandozeilen-Leute gibts auch noch die Powershell/CMD

Betreffend CPU. Da zieht der 2012 Server nicht wirklich viel, der ist eigentlich richtiggehend langweilig. Auch bei Vollauslastung der Platten. Zumindest RAID 1/10 Parity kann ich nicht sagen. Limitieren tun eigentlich wirklich nur die Platten.

[Dayworker]

Linux als Gast empfinde ich nicht als schwer. Inzwischen empfinde ich eher das damalige DOS-Gefrickel für die optimale Config, sprich wer hat die meisten Kilobytes im Konventionellen Arbeitspeicher unterhalb 640KB frei und nutzt den Erweiterten Arbeitsspeicherbereich bis 1MiB am besten aus, von "autoexec.bat" und "config" als wesentlich nerviger und einige Programme hatten dazu auch noch Sonderwünsche in Form von EMS- oder XMS-Speicher, von den DOS-Extendern ganz zu schweigen.
Die in Abhängigkeit zur v.HW-Version fast immer gleichbleibende vHW erleichtert die Situation sogar. Das Einspielen von Updates geht easy von der Hand entweder in der GUI (falls eine konfiguriert wurde) oder per SSH-Verbindung und selbst die Absicherung ist kein Hexenwerk. Wie unter Windows macht man nur die nötigen Ports auf oder/und schränkt den Zugriff auf bestimmte IP-Bereiche des Heimnetzwerkes oder VLans ein. Da ein ESXi auch nicht in einer DMZ stehen muß, der Zugriff auf den VT-Host extern per HW-Firewall/Router/Switch (bei mir eine FB7170) begrenzt wird, bin ich da relativ gelassen und bleibe trotzdem sehr wachsam.

Das Windows spürbar weniger performant als Linux arbeitet, hatte ich nie behauptet. Einzig NFS gibt es in der Linux-Welt schon wesentlich länger und daher dürfte das dort sowohl ausgereifter als auch performanter sein. Man kann ja inzwischen auch einen DC weitestgehend mit Samba4 unter Linux aufsetzen, einige Dinge laufen bisher aber immer noch nicht. Jedoch dürfte die unverständliche Produkt- und Aufpreispolitik seitens M$ für einige Wechsler sorgen.

Wenn der Server2k12 wirklich nicht sehr viel CPU-Leistung benötigt, sollte man das wirklich mal austesten. Ob die GUI von W2k12 aber wirklich so easy ist, wird sich bei mir erst noch zeigen. Ich habe sprichwörtlich in letzter Minute sowohl das kostengünstige Win8-Upgrade als auch den Lizenzkey zum Mediacenter-Pack erworben. In den diversen Elektronikmärkten jedenfalls war ich über das Display streichelt nicht so weit gekommen, um die Veränderungen an den Konfigurationsmöglichkeiten bzw überhaupt irgendwelche Config-Möglichkeiten wahrnehmen zu können. Als langjähriger XP-Nutzer war ich jedenfalls schon an der Inst der WS8-beta unter Win7 gescheitert. Erst unser Ulli hat mir dann mangels fehlerender Internetbandbreite meinerseits per gleichzeitiger Teamviewer/Telefon-Konferenz aus der Patsche geholfen.