Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Probleme mit Schreibgeschwindigkeit unter VSphere 7

Alles zum Thema vSphere 7, ESXi 7 und vCenter-Server bzw VCSA7.

Moderatoren: irix, Dayworker

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 01.03.2021, 19:56

Hallo zusammen,

für Testzwecke betreibe ich einen Dell T140 mit H330 RAID Controller, sowie Xeon und 2 x WD RED und 1 x 1TB mitgelieferte Dell Disk.
es läuft der ESXi mit Dell Custom Software und Testweise Open Media Fault und ein Server 2019.

Ich habe das Problem, dass für die ersten 10 Sekunden die Schreibgeschwindigkeit bei 112MB pro Sek liegt und dann sehr schwankend teilweise bei 32 Mb/s.
Die Latenzen habe ich angehangen.
Hat jemand eine Idee, wieso dieser Einbruch kommt?
Die Dell Platte habe ich testweise als extra LUN einzeln eingebunden, ohne das dort VMs laufen. -> selbes Ergebnis.
Synology steht daneben, bringt durchgängig die 112 MB/s.


Vielen Dank für Tipps!

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 01.03.2021, 20:32

Aeh... der H330 ist ein Lowcost RAID Kontroller OHNE Write Cache und Batterie. Da haengt man SSDs dran aber keine drehenden Spindeln. Evtl ist der Cache der Platten aktiv und deshalb siehst du fuer einen kurzen Augenblick da 112MB/s und dann halt nur noch was die HDDs als IOPS machen und dast ist bei einer HDD halt nicht viel.

Der ESXi selber cached auch nichts und darum siehst du auf dem NAS bessere Werte.

Irgendwie ist dein Anhang verloren gegangen.

Gruss
Joerg

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 01.03.2021, 20:59

Hallo Jörg,

vielen Dank für die rasche Antwort.
Da schafft aber ja jeder PC, der eine Freigabe zur Verfügung stellt, die um die 100MB/sec konstannt.
Die Platten schaffen doch nicht nur 30MB /s. Gerade hatte ich einen Durchlauf von einem 8 GB File, da war ich im Durchschnitt bei 90, aber eben nicht Konstant. Es ist immer eine Berg und Talfahrt.

Im Anhang noch die Bilder dazu.
Dateianhänge
Unbenannt2.JPG
Unbenannt.JPG

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Dayworker » 01.03.2021, 21:25

Der ESXi kennt nur sein VMFS, er kennt keine anderen Dateisysteme und verläßt sich vollkommen auf die Performance des eingesetzten Datenträger-Controllers. Weil der ESXi nur Datenträgerplatz bereitstellt, muß er das in einer VM genutzte Dateisystem nicht kennen und daher ist auch im VMFS kein Dateisystem-Cache vorgesehen. Entweder ist der Raid-Controller von Hause aus schnell genug und verfügt dazu über einen vor Spannungsausfall geschützten Write-Cache oder die Performance wird auch mit SSDs eher weniger brauchbar sein.
Jeder native PC mit Linux, Windows oder BSD nutzt gegenüber dem ESXi einen entsprechend grossen Dateisystem-Cache und verschleiert damit einen langsamen oder sogar fehlenden Controller-Cache wie beim H330 bzw H200. Ich habe hier den H200 im Einsatz und dieser war damals zum Testen auch nativ sowwohl unter Windows als auch Linux extrem lahm beim Schreiben. Die 30MB/s sind vollkommen normal, wenn kein Cache zu Verfügung steht und der Datenträger alle anfallenden IOPS ohne NCQ direkt 1:1 wegschreiben muß.

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 01.03.2021, 21:30

Okay, das ist ja sehr ärgerlich. Dieses Problem löse ich mit Sicherheit dann auch nicht mit Proxmoxx oder indem ich die Platten Pass Through an OMV durchreiche bzw. Ein Raid 10 mit 4 Platten baue? Könnt ihr einen Raid Controller empfehlen? Wozu ist dann der 300 Euro teure h330 Controller denn gut?

Vielen Dank und Grüße

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 01.03.2021, 22:07

Der H330 ist fuer ein Raid1 gut als Boot OS oder wenn man SSDs hinten dran hat.
Du brauchst einen H730/H740 welche es aber auf dem Papier nicht fuer deinen T140 gibt. Probier halt aus den ESXi auf USB und dann das durchreichen des H330 an eine Storage VM ob da eine bessere Performance herauskommt.

Gruss
Joerg

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Dayworker » 02.03.2021, 11:37

H200 und H330 sind für den ESXi-Einsatz zertifizierte Dell-Controller der Einsteigerklasse. Beide reichen völlig aus, dem ESXi eine Raid1/Mirror-gesicherte Heimat zu bieten. Startet man den ESXi wie von "irix" vorgeschlagen per USB oder besser per SATA-Port vom Intel-Chipsatz, weil man dann problemlos auch eine Storage-Appliance mit darauf packen kann, könnte man den H200/H330 per PCI-Passthrough durchreichen. Speziell für alles mit ZFS muß ein Controller nichts weiter können, ein vom ESXi erkannter HBA mit AHCI reicht vollkommen aus. Die Verwaltung der am H200/H330 angeschlossenen Platten obliegt dann komplett der Appliance. Da beide Controller mit der für den ZFS-Einsatz unnötigen Raid-Firmware daherkommen, wäre ein Cross-Flashing auf die IT-Firmware empfehlenswert. Ich habe das Cross-Flashen hier im Forum auch irgendwann mal beschrieben inklu aktualisierter Links zur LSI-FW oder du schaust dir exemplarisch mal https://blog.michael.kuron-germany.de/2014/11/crossflashing-dell-perc-h200-to-lsi-9211-8i an. Da LSI inzwischen mehrmals verkauft wurde, ist das Aufspüren den notwendigen Dateien der größte Zeitfaktor.

Ich habe hier "nappit-AiO" im Einsatz und kann keine Performanceprobleme feststellen. Im Hardwareluxx-Forum gibt es jedoch direkt einen ZFS-Stammtisch, der sich mit allen Fragen zum ZFS näher beschäftigt und auch OMV wird sowohl dort als auch allgemein bei Hardwareluxx häufiger behandelt als hier.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 02.03.2021, 12:04

Denn H200 gibts nicht mehr.... der war fuer Serverchen welche vor dem Krieg aktuell waren. Er hat den einzigen HW Raidcontroller welches es vom Hersteller fuer seinen Server gibt. Leider genuegt der aber nicht seinem Anwendungsszenario.

Gruss
Joerg

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 02.03.2021, 20:34

Hallo zusammen,

vielen Dank.
Ich habe den ESXi auf einem USB-Stick direkt am Board laufen, möchte aber natürlich auch noch weitere VMs virtualisieren.
Verstehe ich das richtig, dass ich nun nicht einfach am h330 1 -2 weitere Platten anschließen könnte und diese per Passthrough ans OMV durchreichen kann`?
Genau das habe ich nämlich versucht und bekam auf Befehlzeiche per vmktools = device not found.
Wenn Pass Through , dann muss sozusagen der ganze Controller durchgereicht werden oder wie muss ich das verstehen?

Meine Endlösung sollte eigentlich so aussehen. USB -> ESX, 2 x SSDs im RAID 1 für ein paar VMs (Datastore 1), 2xHDDs Raid 1 (Datastore 2).
Sozusagen alles über virtuelle Disks eingehangen.

Resultat -> mäßige Schreibperformance.

Nun dann die Überlegung USB -> ESX, 2 x SSDs im RAID 1 für ein paar VMs (Datastore 1), 2xHDDs Raid 1 per Passthrough an OMV VM.

Vielen Dank für Eure Hilfe!

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 02.03.2021, 20:39

Beim Passthrough wird der ganze Kontroller durchgereicht.

Gruss
Joerg

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 02.03.2021, 20:57

Okay, also wenn ich den Controller durchreiche, dann kann ich diesen, wenn ich das jetzt richtig verstehe, nicht mehr als Datastore im ESXi Host anbinden und als LUN Präsentieren uns meine VMs drauf betreiben?


Vielen Dank!

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 02.03.2021, 20:58

Also bräuchte ich dann sogar 2 Controller. Einen fürs durchreichen ans OMV und einen für meine 4-5 VMS?
Weil der Onboard Controller ist ja nicht mit VMware kompatibel.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 02.03.2021, 20:59

Korrekt.

Es geht nur eins von beiden.

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 03.03.2021, 15:45

Okay, das habe ich verstanden.
Mir ist das aber trotzdem völlig unklar, weshalb Dell aktuell den T140 verkauft und angibt, dass er nur ab H330 für VMware kompatibel ist und am Ende kann man die die Virtualisierung gar nicht vollumfänglich performancetechnisch nutzen.
Also müsste ich mir den H730 zulegen und dann ist alles gut?

Vielen Dank für deine Infos.

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon MarroniJohny » 03.03.2021, 16:11

Du kannst die VMs natürlich auch auf dem durchgereichten Storage liegen haben. Wie @Dayworker schon angedeutet hat, machen das die meisten mit napp-it als Filer. So kannst Du den Storage dann per NFS an den ESXi zurück geben. Läuft hier mit einem PERC H310.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 03.03.2021, 16:12

Ist zertifiziert und funktioniert. Also alles i.O aus deren Sicht.

Kein sizing machen, das kleinste verfuegbare Geraet und Ausstattung kaufen und dann rum jammern. ;)

Gruss
Joerg

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Dayworker » 03.03.2021, 17:34

Alles unterhalb der 700er Controller-Reihe war bei Dell immer schon nur eine Einstiegslösung zum günstigen Preispunkt. Für einen richtigen HW-Controller legt man auch mal 500€ und mehr hin, vor allem wenn man viele Anschlüsse braucht.

Wenn du einen Dell PE-T140 hast, läuft der ja mit Intel-CPU und da sollte der AHCI-Controller im Intel-Chipsatz auch unter vSphere7 funktionieren. ESXi und den Filer würde ich da drauf packen. Die früher gern genutzte Geschichte mit dem USB-Stick als ESXi-Medium würde ich inzwischen sein lassen, weil sich die Flashspeicher-Qualität der USB-Sticks deutlichst verschlechtert hat. Die Wertschöpfung von Flash ist Smartphone, dann SSDs und ganz am Ende der Kette wird der Rest als Stick verramscht.
Die VMs liegen nachher auf dem durchgereichten HBA und der Filer kümmert sich um das performante Abbilden deines gewünschten Raid- bzw Raidz-Levels. Mit OMV oder Proxmox bist du da natürlich auf der anderen Seite etwas dumm dran, weil die ja eben nicht nur Filer sondern auch eierlegende Wollmilchsäue sind und das weckt unweigerlich Begehrlichkeiten. Denn auch wenn beide debianbasiert und daher ziemlich konservativ sind, aber geht da ein Update schief, fällt schlimmstenfalls nicht nur der Filer aus. Oder schlimmer, der Filer läuft nicht, weil irgendein Update querhängt. "MarroniJohny" und ich nutzen die nappit-Appliance als ultimativen Filer und haben dafür HBAs an die Appliance durchgereicht. Fällt der Filer aus, ist das kein Beinbruch. Mehr als die Appliance neu ausrollen, HBA wieder per PCI-Passthrough durchreichen und bestehendes ZFS importieren, ist es nicht.
Ich kann mit dem uralten H200 als HBA jedenfalls mein G-Ethernet sättigen.

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 03.03.2021, 18:58

irix hat geschrieben:Ist zertifiziert und funktioniert. Also alles i.O aus deren Sicht.

Kein sizing machen, das kleinste verfuegbare Geraet und Ausstattung kaufen und dann rum jammern. ;)

Gruss
Joerg



Nun , mein DL 380 G7 mit 8 x SAS ist dann auf Dauer in die Jahre gekommen und auch zu teuer für den Home Betrieb.
Das kleinste Verfügbare Gerät wäre im übrigen der T40 :).

Danke!

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 03.03.2021, 18:59

MarroniJohny hat geschrieben:Du kannst die VMs natürlich auch auf dem durchgereichten Storage liegen haben. Wie @Dayworker schon angedeutet hat, machen das die meisten mit napp-it als Filer. So kannst Du den Storage dann per NFS an den ESXi zurück geben. Läuft hier mit einem PERC H310.



Das wäre doch eine Lösung zum austesten.
Wie genau müsste ich das machen?

H330 auf HBA im RAID Controller stellen und dann nach dieser Anleitung vorgehen?:
https://www.youtube.com/watch?v=tDt8D1e41sc

Vielen Dank!

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Dayworker » 03.03.2021, 20:56

Jupp, der T40 ist noch unterhalb des T140 angesiedelt. Viel entscheidender für die VMware-Nutzung ist jedoch, daß erst der T140 offiziellen ESXi-Support genießt. Von daher ist der T140 der kleinste Server. :P

Der H330 ist meist ein HW-Raid-Controller, aber leider nicht immer. Dell schafft dort reichlich Verwirrung, weil auch ein 12Gbps-HBA als H330 verkauft wird. Du willst für ZFS jedoch immer einen reinen HBA haben, damit sämtliche Funktionalität durch ZFS verwaltet wird. ZFS läuft auch auf/mit einem Raidcontroller, das limitiert jedoch den ZFS-Funktionsumfang. Von daher würde ich mich von der IR-FW verabschieden und den H200/H310/H330 auf die IT-FW zur reinen HBA-Nutzung umflaschen. Schau dir dazu mal https://forums.servethehome.com/index.php?threads/flash-crossflash-dell-h330-raid-card-to-hba330-12gbps-hba-it-firmware.25498/ an. Positiver Nebeneffekt der IT-FW, die Bootzeit verringert sich deutlich, weil man die Boot-Funktionalität weglassen kann und dann beim Booten auch kein Raid-BIOS mehr erscheint. Mein H200 samt angeschlossener Platten wird est beim Start des Filers angesprochen.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon irix » 03.03.2021, 20:58

Der Dell H330 ist ein RAID Controller den gibts bei Dell nur in der einen Ausfuehrung.
In Grenzenloser Weisheit gibts dann noch den HBA330 welcher ein reiner Passtrough HBA ist welchen wir fuer unser vSAN immer hernehmen.

Gruss
Joerg

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 03.03.2021, 21:17

Okay, also habe ich jetzt 4 Varianten, die mich ans Ziel bringen.

1. Passtrhrough den h330 und dann Raid über ext4. Vms kommen an AHCI Software Controller
2. Passtrhrough und Flash auf it Firmware und ZFS
3. H330 als Raid und Ssds dran hängen
4. Kauf eines h730 2gb Raid Controller und hdds dran hängen

Welches wäre dann die beste und einfachste Variante?

H730 kaufen und vorhandene 3 tb als Raid 5 ?


Vielen Dank!,

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Dayworker » 03.03.2021, 21:27

@irix
Aufgrund der Namensähnlichkeit sind da ja Verwechselungen fast vorprogrammiert. Wenn man direkt bei Dell einen Rechner konfiguriert, dürfte das kein Problem sein, aber falls jmd den HBA woanders kauft...


@Mark_Le
Deine Punkte 1 und 2 sind in meinen Augen gleich mit Vorteilen für das ZFS beim geamten Disk-Handling. Da du den H330 schon hast, würde ich diesen auf HBA umflashen und per Passthrough durchreichen. Den ESXi würde ich auf eine SSD am Intel-Controller installieren und wegen der neuen Diskaufteilung des ESXi paßt dann auch der Filer mit auf die SSD.

Member
Beiträge: 61
Registriert: 04.11.2016, 11:30

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon Mark_Le » 03.03.2021, 21:50

Dayworker hat geschrieben:@irix
Aufgrund der Namensähnlichkeit sind da ja Verwechselungen fast vorprogrammiert. Wenn man direkt bei Dell einen Rechner konfiguriert, dürfte das kein Problem sein, aber falls jmd den HBA woanders kauft...


@Mark_Le
Deine Punkte 1 und 2 sind in meinen Augen gleich mit Vorteilen für das ZFS beim geamten Disk-Handling. Da du den H330 schon hast, würde ich diesen auf HBA umflashen und per Passthrough durchreichen. Den ESXi würde ich auf eine SSD am Intel-Controller installieren und wegen der neuen Diskaufteilung des ESXi paßt dann auch der Filer mit auf die SSD.



Okay, aber kann ich da den Controller nicht einfach im HBA Mode fahren. Das geht zumindest auf dem Controller auszuwählen. Gern möchte ich das alles so unkompliziert wie möglich. Am Ende sollen nicht ganz unwichtige Daten dort drauf liegen. Natürlich wird es auch ein Backup geben, aber ich möchte den Server dann erdt einmal.laufen lassen. Er soll sozusagen meine synology ersetzen und noch ein paar vms hosten.

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: Probleme mit Schreibgeschwindigkeit unter VSphere 7

Beitragvon MarroniJohny » 04.03.2021, 03:29

Ich wäre für Lösung 2, also IT Firmware flashen und durchreichen an einen Filer. Da musst Du aber temporär Deine paar VMs irgendwo zwischenspeichern, oder dann halt neu aufsetzen. Das mit der IT Firmware kannst Du nicht im BIOS von dem Teil einstellen, zumindest bei meinem PERC nicht. Meinen musste ich flashen, dann gibts keinen HBA BIOS Zugriff mehr.

So habe ich das gemacht:

https://sanderh.dev/flashing-your-Dell- ... -firmware/


Zurück zu „vSphere 7“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste