Probleme mit Schreibgeschwindigkeit unter VSphere 7

[Mark_Le]

Ich wäre für Lösung 2, also IT Firmware flashen und durchreichen an einen Filer. Da musst Du aber temporär Deine paar VMs irgendwo zwischenspeichern, oder dann halt neu aufsetzen. Das mit der IT Firmware kannst Du nicht im BIOS von dem Teil einstellen, zumindest bei meinem PERC nicht. Meinen musste ich flashen, dann gibts keinen HBA BIOS Zugriff mehr.

So habe ich das gemacht:

https://sanderh.dev/flashing-your-Dell- ... -firmware/

Okay, dann wird der Controller sicherlich nicht mehr im idrac sauber angezeigt? Was passiert bei Plattenausfall? Meldet den dann das OMV? Was passiert bei Controllerausfall? Gehen dann die Platten grundsätzlich nur mit einem geflashten h330? Die SSD am Onboard Controller kann aber nicht als Raid aufgebaut werden oder ?

Vielen Dank!

[MarroniJohny]

Ja, den Controller bzw. die Platten siehst Du dann am Host nicht mehr. Die SMART Werte kannst Du in der Filer Appliance auslesen.

Mit ZFS machst Du ein Software RAID, falls das gewünscht ist.Ich habe aber kein RAID, da baumeln alle Platten lose rum.

Mit den SSD am Onboard Controller kannst Du noch ein RAID 1 betreiben. Zumindest machen das Einige so. Was soll denn da drauf? ESXi und der Filer, oder noch weiteres? Bei mir hat es zwei SSD am Chipsatz, eine für den ESXi und eine für die Filer.

Prinzipiell kann man auch ohne durchgereichten Controller echtes ZFS auf den Platten haben und die einzeln durchreichen. Stichwort ESXi RDM. Habe ich noch nie getestet. Da brauchst Du am ESXi Treiber für den betreffenden Controller.

[Mark_Le]

Okay, eigentlich kaufte ich den h330, da der onboard und damit Software embedded Raid Controloler doch gar nicht mit ESXi kompatibel ist. ( Grundsätzlich)

[Dayworker]

Korrekt, der ESXi unterstützt mangels Treiber keine SW-Raidgeschichten. Um zumindest den ESXi per Mirroring abzusichern, braucht es einen kleinen Controller. Bei dem bisken was der ESXi selber schreibt, reichen dafür auch die Cache-losen. "irix" hatte vor geraumer Zeit auch komplett disklose ESXi im Einsatz, bei dem ESXi von einer Raid1-gesicherten SD-Karte (Dell-Stichwort "BOSS") gebootet hat und die VMs lagen auf dem SAN.

Platten und Controller sieht man je nach Server-HW stellenweise eh nicht mehr und vom Controller ist es auch abhängig, ob man den Gesundheitszustand der Platten überhaupt noch sieht. Falls nicht, bekommt man nur noch die Meldung mit "Raid degraded" und sieht nicht, welche Platte ein Problem hatte/hat. Mit dem uralten H200 beispielsweise hatte ich damals unter 5.5 nur den raidgesicherten Plattenplatz, aber keine einzelnen Platten gesehen. Den ESXi interessiert das aber im Grunde auch nicht. Er will ein abgesichertes Laufwerk haben und wie das Raid verwaltet wird, ist Aufgabe des Controllers. Die ganze Raid-Geschichte wird aber zuwieso nur begrenzt bzw bei Einzelhosts eingesetzt, weil man für die höheren ESXi-Funktionen wie HA, FT etc sowieso ein Storage braucht. Diese Geschichte nutzen wir mit der nappit-Appliance aus. ESXi vom Stick oder gleich kleiner Platte/SSD um ESXi und Filer draufzupacken und der Filer gibt dann seinen Speicherplatz an den ESXi per NFS oder iSCSI zurück. SMART-Werte usw lassen sich dann problemlos in der Filer-Appliance auslesen. Damit umgeht man auch den bei vielen LSI-Controllern früher notwendigen Weg, eine VM mit dem ganzen Megaraid-Geraffel installieren zu müssen, damit man dann über die auf dem ESXi zu installierenden SMI-Provider den Gesundheitszustand von Controller und Platten auslesen konnte. Den ganzen Kram erspart man sich mit einer Storage-Appliance mit durchgereichtem HBA, muß dann aber eine etwas höhere Komplexität in Kauf nehmen. Das ist zumindest mir immer noch lieber, als mir extra einen nicht gerade billigen HW-Controller mit gegen Spannungsausfall gesicherten Cache kaufen zu müssen. Das gesparte Geld investiere ich liebe in grössere Platten.

[irix]

"irix" hatte vor geraumer Zeit auch komplett disklose ESXi im Einsatz, bei dem ESXi von einer Raid1-gesicherten SD-Karte (Dell-Stichwort "BOSS") gebootet hat und die VMs lagen auf dem SAN.

Fast richtig.... jahrelang durchaus sorgenfrei Dual SD Karten im RAID"1" (Failsafe) als Bootmedium fuer ESXi und mit vSphere 7 und da wo vSAN zum Einsatz kommt dann "BOSS" (RAID1 PCI Kaertchen mit 2x M.2 SSD.).

Gruss
Joerg

[Mark_Le]

Sehr interessant, das ist ja fast komplexer wie ein Fiber Channel SAN mit Storage bspw. ne MSA anzubinden.
Gut, dort ist dann der Cache ausreichend am Controller.

Und wo ist dann der Cache bei dem durchgereichten HBA?
Ist das dann die Intelligenz von OMV?

Ich meine, der H730 mit 2GB Cache ist aktuell für 255€ auf Ebay zu haben.
Jetzt überlege ich wirklich, ob ich den H330 durchreiche und den ESX auf ner SSD im AHCI Onboard Modus betreibe oder ob ich einfach den H730 kaufe, den h330 verkaufe und dann dort mein RAID5 für Daten aufbaue und für meine VMS noch ein RAID 1 aus SSDs und fertig oder übersehe ich da etwas?

Vielen Dank für Eure ganzen Ideen und Vorschläge.
Und ich dachte, ich hätte mit dem Dell t140 und h330 meinen DL380G7 super abgelöst.

[Dayworker]

Ein HBA hat und braucht keinen Cache. Er soll Datenträger einfach nur 1:1 anbinden und deren Verwaltung komplett dem ansteuernden OS überlassen. Muß das OS davon nicht booten, braucht sogar kein bootfähiges BIOS vorhanden sein. Das spart je nach Controller und der Anzahl der angebundenen Datenträger einiges an Zeit.

[Mark_Le]

Vielen Dank für die Hilfe, aus dem Beitrag habe ich eine Menge mitgenommen.
Insgesamt läuft das jetzt auch im Test und funktioniert.
Einzig die Schreibperformance auf NFS liegt vielleicht bei 2-3MB/sek.

Lesen läuft mit knapp über 100 MB/s.

Habt Ihr da vielleicht noch eine Idee für mich?

Viele Grüße!

[Dayworker]

Du mußt dem NFS-Server unter die Arme greifen, weil der ESXi bei NFS immer "Sync" und leider nicht "Async" schreibt. Da du dich jetzt im Raid-gesicherten Betrieb befindest, willst du neben einer USV trotzdem eigentlich "Sync" haben. Das ZFS selber bleibt auch bei Spannungsausfall immer konsistent. Beschädigte bzw unvollständige geschriebene VMDK-Dateien sind aber für VMware sehr hinderlich. Um ZFS dabei etwas unter die Arme zu greifen, empfiehlt sich ein ultraschnelles Log-Device (ZIL) per Optane einzurichten. Ich habe das privat für mich per "Async" sowie dickerer USV und ohne ZIL gelöst.

[Mark_Le]

Okay, das habe ich soweit verstanden. Testweise habe ich bei OMV den Schalter Async bei der Freigabe mitgegeben und siehe da. Alles über 120Mb/sec auf einmal. Sehr schön.
Nun überlege ich natürlich wie ich das mit dem Async machen. Das betrifft ja dann eigentlich nur die VMs, welche dort drauf gelegt werden. Wenn ich jetzt einen Ordnerstruktur für meine Daten daheim anlege und diese per SMB Freigebe speichere, sind diese ja davon nicht betroffen.
Wo liegt eigentlich der Log Speicher? Der müsste ja Bestandteil vom OMA sein? Also müsste der dann ausgelagert werden oder?


Danke und viele Grüße!

[Dayworker]

Der Log-Speicher liegt gegen Spannungsprobleme ungesichert im normalen RAM, dürfte bei OMV auch nicht anders sein. Der ZIL, am sinnvollsten gegen PLP gesichert als extrem schnelle SSD oder gleich als NVMe, übernimmt gewissermaßen dieselbe Funktion, die auch die BBU bzw FBWC bei einem HW-Controller mit Schreib-Cache innehat. Ich hatte mich damals mangels bezahlbarem ZIL (die Optane kam erst deutlich später auf den Markt und Z-RAM blieb extrem teuer) einfach für eine grössere USV entschieden und damit eine ältere 650er APC nach ihrem dritten Akkutausch in den Ruhestand verabschiedet.