VMware-Forum

Hi,

da wir uns derzeit in einem Technology-Umbruch auf Storage-Ebene befinden, stellt sich immer mehr die Frage nach Alternativen zu konventionellen SCSI Controllern mit enterprise SSDs, sowohl für den lokalen als auch für den shared Storage Bereich. VMware vSAN und die StarWind Lösung mal ausgenommen.

Da VMware den Intel vROK Treiber nicht wirklich vollständig implementiert (hat), können NVMe PCI Karten und u.2/u.3 Speicher, mit den mir bekannten Möglichkeiten, nicht redundant betrieben werden. Gibt es hier Neuigkeiten?

Im shared Storage-Bereich wird von NVMf (fabric) gesprochen, bei denen NVMe discs, meist über Ethernet/FC/Infiniband Switche an den Host gebracht werden. Wobei mir nicht klar ist, ob es hier die Möglichkeiten einer Redundanz auf Hardware-Ebene oder auch wieder nur auf Software-Ebene gibt, sodass ein Betrieb mit VMware ausgeschlossen ist.

Derzeit ist das ganze sicherlich eher ein Thema für sehr große Datacenter. Aber da sich bei dem Thema derzeit fast wöchentlich eine Neuigkeit ergibt, hier die Frage in die Runde, ob jemand bereits NVM Lösungen kennt, die finanziell halbwegs rentabel auch in etwas kleineren Umgebung eingesetzt werden können.

Ziel wäre jeweils, Flaschenhälse zu vermeiden, so wie sie derzeit auf Controller- und Host-Seite entstehen. Zudem kommen nur wirklich redundante Lösungen in Frage.

Den derzeitigen Weg des Hybrid-Storages zu gehen, also z.B. eine MSA2060 mit vollflash zu bestücken, ist nicht wirklich attraktiv. Und explizite flash-Lösungen wie HPE Nimble o.Ä. sind derzeit vor allem finanziell nicht wirklich als Alternative zu sehen.

Grundsätzlich wird NVM nun erschwinglich, aber nicht wirklich redundant und als shared Storage im VMware-Bereich nutzbar. Hat sich daran etwas geändert?

Viele Grüße!

Wenn du SDS schon im Vorfeld ausklammerst dann bleiben ja nur noch die externen SAN Loesungen. Ansonsten was "Localstorage" angeht so haben alle grossen Hersteller mit der Einfuehrung der neuen Intel CPU (hat damit aber nix zutun) NVMe faehige RAID HBAs im Angebot da alle eine neue Generation an Servern herausgebracht haben.

Was aber SAN angeht, so kann man dann Unterscheiden zwischen NVMe im SAN und dann der Weg vom Storage hin zum Host ala NVM over Fabric. Ersteres gibts durchaus schon hier und da... wir haben schon mehrere Dell SAN Loesungen mit NVMe bei Kunden implementiert. Die NVMe Disks waren die "langsamste" der angebotenen Moeglichkeiten was Disks angeht.

Was NVMeoF angeht so siehts schon duenner aus was dann dem geschuldet war das man es ueber FibreChannel oder Ethernet machen kann und da hat sich jeder fuer was anderes entschieden und Implementierungen der EarlyAdaptors waren auch dabei. Des weiteren hat wohl zuerst LINUX als OS support geboten, fuer Windows hat man noch nichts und ESXi kann beides wobei man bei Ethernet sich fuer RoCE2 entschieden hat.

Bei der FC Variante kann man dann z.B Connectrix 32Gbit FC Switche machen.

Bin mir nicht sicher ob nicht die Wuensche und Bugdet hier Lichtjahre auseinander liegen weil Intel vROK im gleichen Satz wie NVMe zu verwenden hat auch was. Bitte nicht falsch verstehen ich wuenschte mir auch das vROK bzw. das AMD Gegenstueck eine bessere Verbreitung und Anwendung erfahren haetten aber im Businessumfeld ist es mir nicht Einmal untergekommen. IIRC war es bei Intel am Anfang(Heute ?) so das man nur Intel Disks haette betreiben koennen und somit gleich nen Fehlschlag hingelegt.

Edit:
Bei den NVMe Loesungen welche dafuer designed worden sind kommen DualPort Disks zum Einsatz damit beide Controllermodule gleichberechtigt angeschlossen sind.

Gruss
Joerg

Hi Jörg,

vielen Dank für die Übersicht, die du gegeben hast.

Bei den Raid-HBAs stellt sich wieder die Frage nach dem Flaschenhals. Sind heutige HBAs in der Lage, die NVM I/Os durchzuschieben oder bremst ein Raidcontroller immer noch, sodass diese Lösung wieder an Attraktivität verliert? Hier kommt nur Raid1 und Raid10 in Frage, nehme ich an?

Zum SAN: Wie befürchtet, scheint es hier, neben den größeren Produkten, wie HPE Nimble, Dell (PowerMax/ECS?) und diversen kleineren Schmieden, keine "down-scalable" Lösung im BEreich 100TB zu geben. Oder wie du sagst, sind Vorstellungen/Wünsche der Realität noch zu fern.

vROK war eine Zeit lang vielversprechend, vor allem, als NVMe HHHL Lösungen immer erschwinglicher wurden. Eine Redundanz auf Chip-Ebene zu schaffen, hätte sehr easy zu einem sehr schnellen lokalen Datastore für sehr I/O hungrige VMs führen können.
Was die "neue" Server- bzw. CPU-Generation nun mit sich bringt, sollte ich mir jetzt mal zu Gemüte führen, da hat sich sehr viel getan.

Wenn entsprechende HBAs nun sinnvoll und performant Redundanz schaffen können, sind wir ja schon mal einen Schritt weiter.

Das Dual-Port Thema im NVMe Diskbereich ist mir ebenfalls noch nciht wirklich geläufig, ich muss dringend in die NVMe Schule

Viele Grüße,
C

Wenn du magst koennen wir mal telefonieren und nein unser Kundenclientel ist leider nicht die Zielgruppe fuer PowerMax..... oder Gott seit dank . Je nach Auspraegung 12-30TB netto. Was die DataReduction in Form von Dedup/Kompression angeht so erreicht man mit solchen kleinen Systemen nicht die Versprechen der Hersteller. Im Reallive sehen wir Faktor 2.5 und im Sizing rechnen wir max. mit 2.0.

Die Hersteller haben dedizierten HBAs fuer NVMe welche anders sind als die standard HBAs. Beide HBAs haben sind neu gekommen mit der Einfuehrung der neuen Servermodelle.

Gruss
Joerg

Wenn ein Kunde derzeit vor der Anschaffung eines neuen shared Storage für den Betrieb seiner primären VMs steht, stellt er sich natürlich die Frage nach der Art der Technologie. Während die Ansprüche der allermeisten Kunden mit einem derzeitigen Hybrid-Storage aus SSDs und SAS HDDs mit AutoTiering oder alternativ vollflash und herkömmlicher SAS-SCSI oder FC Anbindung, abgedeckt werden können, gibt es auch Kunden, die an schnelleren Lösungen interessiert sind.

Mich würde daher schon auch interessieren, was ihr da für Hardware im Bereich 30TB hingestellt habt und in was für einer Preisliga ihr damit gelandet seid.

wie wäre es damit?

HPE J2000

https://www.hpe.com/psnow/doc/PSN1013152091CHDE

bei der Variante mit 6 Hostports könnten bis zu 3 ESXi redundant verbunden werden, ohne die Notwendigkeit eines switches. Die Box an sich kostet um die 10k eur, dazu kämen dann "nur noch" Platten und die HBAs für die Server.

Ergebnis wäre eine durchgängige NVMe Lösung, voll redundant, VMware zertifiziert und bei redundanten 20TB eine echte Alternative zu den old school SCSI Storages, auch für kleinere Umgebungen.

Sehr interessant.

VG
C

Zwar schon etwas her, aber allzu lang ja auch wieder nicht.

Also das HP Teil klingt ziemlich cool, "nur" die Disks ist wohl sicher treffend formuliert
In der VmWare Welt dürfte in Zusammenhang mit NVMEe die günstigste Variante aktuell wohl vSAN sein. Der Rest ist irgendwie noch ziemlich dünn gesäht und die Kosten dafür sind jenseits von Gut und Böse. Eine Optan in einer SAN bringt dich z.Bsp. Kostenmässige um. Ist ja sonst schon weit entfernt von günstig.

Ich hab mir grad vor ganz kurzem - nach mittlerweile Jahren des Zwiespalts - wegen der Performance für Local Storage statt SAN entschieden. Bis vernünftige NVMe SAN erschwinglich werden, dauerts wohl noch und meine SAN läuft auf dem allerletzten Zahn. War also in Zugzwang.

RAID-Karten für NVMe gibts ja auch, aber die wird vermutlich der Flaschnhals bei den modernsten Platten. Und ob die dan zuverlässiger als eine Optan oder einer hochwertigen sonstigen NVMe ist, sei mal dahingestellt.


Aktuell bin ich grad am rumspielen was sicher zu betreiben ist (Crahs-Tests usw.). VDI betreibe ich wohl direkt auf den Optans, ohne Redundanz. Denke eine Optan ist ähnlich zuverlässig wie ein RAID-Controller und der ist auch nicht redundant auf nem Single System. Die Wiederherstellung von 20 Desktops à ~25GB ist mit ca. 10 minuten auch überschaubar. Die Desktops sind trotz Virtualisierung das schnellste was ich bis jetzt gesehen habe.
--> Hab aber sonst keine top aktuelle Workstation mit allem Pipapo zur Hand zum Vergleich. Das AMD System mit EPYC 7F52 legt die latte zusammen mit der Optan oder Kioxia's jedenfalls ordentlich hoch. Selbst wenn die VM indirekt via Storage Spaces via NFS bedient wird.

Bei den Servern bin ich nicht so waghalsig. Da werde ich wohl auf eine Storage App mit Storage Spaces als SDS setzen. Da kringelt sich zwar auch bei vielen die Nägel hoch, aber mir ists egal. Das setze ich nun bald ein Jahrzeht ohne jegliche Probleme in diversen Systemen ein. Crashsicherheit und Fehlertoleranz des Software-RAID hatte ich ja mal ausgiebig getestet mit SSDs/HDDs. Bei NVMe bin ich etwas skeptischer. Weniger bezüglich Storage Spaces sondern wegen der Hardware. Weiss nicht wie pricklend es ist, wenn eine Passthrough Disk pötzlich weg ist. Erfahrung habe ich da auch noch keine wie NVMe's abserbeln. Vielleicht läufts einfach auf "No Risk no Fun" hinaus. Zumindest für meine Systeme. Bei den kurzen Wiederherstellungszeiten ist das für eine Kleinumgebung eh überschaubar und mit weniger Bauchschmwerzen verbunden als wenn sich eine XTB Magnet-Disc im RAID der SAN ohne 3. oder 4. Spiegelpartner rebuilden muss.

Bauchschmerzen bereitet mir nur noch die Ransomware-Problematik. Da ist man mit Snapshots auf einer SAN natürlich besser dran. Aber eventuell wirds ja etwas mit den Linux-Repos und dem Schreibschutz. Bin da nch ein neues und bezahlbares Standard-Verfahren am austüfeln.

Soeben mit HPE telefoniert: Die J2000 ist nur ein Disk-Enclosure, dass Server-interne NVMe Speicher in eine externe Box bringt. Leider ohne Raid- oder sonstigen Redundanz-Funktionen, und leider auch bishger ohne shared-storage Möglichkeit.

Hier werden pro Host-Port name-spaces verteilt. Also jeder Hostport sieht einen Teil der NVMe Ressourcen, was praktisch dem Betrieb von lokal NVMe gleichkommt.

Schade-Marmelade.

Gruß,
Conne

Vermute mal das es die Loesung dann schon etwas laenger gibt bzw. sie die Nische bedient vorhanden/aelteren Servern Speicher mit geringer Latenz in Form von NVMe bei zubringen die dazu keinen internen Moeglichkeiten haben. Wobei ich schon wieder vergessen hab ob dann NVMe-oF moeglich ist und wie. Da das -oF ja nun fuer OverFabric steht kann auch kein DirectAttached gemeint sein weil das gibt auch bei keinem anderen Anbieter.

Wir machen die DellEMC PowerStore welche in der BasisAppliance per Default NVMe hat. Mit dem nun kommendem FW Upgrade fuer NVMe over Ethernet freigeschaltet(bis Dato nur FC) und dann stellen wir den ein oder anderen Kunden um.
Die welche FC haben brauchen als "minimum" 32G FC HBAs und Switche.

Ich habe aber das Gefuehl das NVMe-oF in der Praxis eh nur die letzten 10% rauskitzeln wuerde. Hat einer Erfahrungen aus der Praxis?

Gruss
Joerg