Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

ESXi und NVMe/NVMf -> redundante NVM Lösung?

Alles zum Thema vSphere 7.0, ESXi 7.0 und vCenter-Server bzw VCSA7.

Moderatoren: irix, continuum, Dayworker

Member
Beiträge: 325
Registriert: 01.10.2008, 13:46

ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon Login » 15.07.2021, 12:53

Hi,

da wir uns derzeit in einem Technology-Umbruch auf Storage-Ebene befinden, stellt sich immer mehr die Frage nach Alternativen zu konventionellen SCSI Controllern mit enterprise SSDs, sowohl für den lokalen als auch für den shared Storage Bereich. VMware vSAN und die StarWind Lösung mal ausgenommen.

Da VMware den Intel vROK Treiber nicht wirklich vollständig implementiert (hat), können NVMe PCI Karten und u.2/u.3 Speicher, mit den mir bekannten Möglichkeiten, nicht redundant betrieben werden. Gibt es hier Neuigkeiten?

Im shared Storage-Bereich wird von NVMf (fabric) gesprochen, bei denen NVMe discs, meist über Ethernet/FC/Infiniband Switche an den Host gebracht werden. Wobei mir nicht klar ist, ob es hier die Möglichkeiten einer Redundanz auf Hardware-Ebene oder auch wieder nur auf Software-Ebene gibt, sodass ein Betrieb mit VMware ausgeschlossen ist.

Derzeit ist das ganze sicherlich eher ein Thema für sehr große Datacenter. Aber da sich bei dem Thema derzeit fast wöchentlich eine Neuigkeit ergibt, hier die Frage in die Runde, ob jemand bereits NVM Lösungen kennt, die finanziell halbwegs rentabel auch in etwas kleineren Umgebung eingesetzt werden können.

Ziel wäre jeweils, Flaschenhälse zu vermeiden, so wie sie derzeit auf Controller- und Host-Seite entstehen. Zudem kommen nur wirklich redundante Lösungen in Frage.

Den derzeitigen Weg des Hybrid-Storages zu gehen, also z.B. eine MSA2060 mit vollflash zu bestücken, ist nicht wirklich attraktiv. Und explizite flash-Lösungen wie HPE Nimble o.Ä. sind derzeit vor allem finanziell nicht wirklich als Alternative zu sehen.

Grundsätzlich wird NVM nun erschwinglich, aber nicht wirklich redundant und als shared Storage im VMware-Bereich nutzbar. Hat sich daran etwas geändert?

Viele Grüße!

King of the Hill
Beiträge: 12489
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon irix » 15.07.2021, 18:00

Wenn du SDS schon im Vorfeld ausklammerst dann bleiben ja nur noch die externen SAN Loesungen. Ansonsten was "Localstorage" angeht so haben alle grossen Hersteller mit der Einfuehrung der neuen Intel CPU (hat damit aber nix zutun) NVMe faehige RAID HBAs im Angebot da alle eine neue Generation an Servern herausgebracht haben.

Was aber SAN angeht, so kann man dann Unterscheiden zwischen NVMe im SAN und dann der Weg vom Storage hin zum Host ala NVM over Fabric. Ersteres gibts durchaus schon hier und da... wir haben schon mehrere Dell SAN Loesungen mit NVMe bei Kunden implementiert. Die NVMe Disks waren die "langsamste" der angebotenen Moeglichkeiten was Disks angeht.

Was NVMeoF angeht so siehts schon duenner aus was dann dem geschuldet war das man es ueber FibreChannel oder Ethernet machen kann und da hat sich jeder fuer was anderes entschieden und Implementierungen der EarlyAdaptors waren auch dabei. Des weiteren hat wohl zuerst LINUX als OS support geboten, fuer Windows hat man noch nichts und ESXi kann beides wobei man bei Ethernet sich fuer RoCE2 entschieden hat.

Bei der FC Variante kann man dann z.B Connectrix 32Gbit FC Switche machen.

Bin mir nicht sicher ob nicht die Wuensche und Bugdet hier Lichtjahre auseinander liegen weil Intel vROK im gleichen Satz wie NVMe zu verwenden hat auch was. Bitte nicht falsch verstehen ich wuenschte mir auch das vROK bzw. das AMD Gegenstueck eine bessere Verbreitung und Anwendung erfahren haetten aber im Businessumfeld ist es mir nicht Einmal untergekommen. IIRC war es bei Intel am Anfang(Heute ?) so das man nur Intel Disks haette betreiben koennen und somit gleich nen Fehlschlag hingelegt.

Edit:
Bei den NVMe Loesungen welche dafuer designed worden sind kommen DualPort Disks zum Einsatz damit beide Controllermodule gleichberechtigt angeschlossen sind.

Gruss
Joerg

Member
Beiträge: 325
Registriert: 01.10.2008, 13:46

Re: ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon Login » 16.07.2021, 09:40

Hi Jörg,

vielen Dank für die Übersicht, die du gegeben hast.

Bei den Raid-HBAs stellt sich wieder die Frage nach dem Flaschenhals. Sind heutige HBAs in der Lage, die NVM I/Os durchzuschieben oder bremst ein Raidcontroller immer noch, sodass diese Lösung wieder an Attraktivität verliert? Hier kommt nur Raid1 und Raid10 in Frage, nehme ich an?

Zum SAN: Wie befürchtet, scheint es hier, neben den größeren Produkten, wie HPE Nimble, Dell (PowerMax/ECS?) und diversen kleineren Schmieden, keine "down-scalable" Lösung im BEreich 100TB zu geben. Oder wie du sagst, sind Vorstellungen/Wünsche der Realität noch zu fern.

vROK war eine Zeit lang vielversprechend, vor allem, als NVMe HHHL Lösungen immer erschwinglicher wurden. Eine Redundanz auf Chip-Ebene zu schaffen, hätte sehr easy zu einem sehr schnellen lokalen Datastore für sehr I/O hungrige VMs führen können.
Was die "neue" Server- bzw. CPU-Generation nun mit sich bringt, sollte ich mir jetzt mal zu Gemüte führen, da hat sich sehr viel getan.

Wenn entsprechende HBAs nun sinnvoll und performant Redundanz schaffen können, sind wir ja schon mal einen Schritt weiter.

Das Dual-Port Thema im NVMe Diskbereich ist mir ebenfalls noch nciht wirklich geläufig, ich muss dringend in die NVMe Schule :-)

Viele Grüße,
C

King of the Hill
Beiträge: 12489
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon irix » 16.07.2021, 09:55

Wenn du magst koennen wir mal telefonieren und nein unser Kundenclientel ist leider nicht die Zielgruppe fuer PowerMax..... oder Gott seit dank :). Je nach Auspraegung 12-30TB netto. Was die DataReduction in Form von Dedup/Kompression angeht so erreicht man mit solchen kleinen Systemen nicht die Versprechen der Hersteller. Im Reallive sehen wir Faktor 2.5 und im Sizing rechnen wir max. mit 2.0.

Die Hersteller haben dedizierten HBAs fuer NVMe welche anders sind als die standard HBAs. Beide HBAs haben sind neu gekommen mit der Einfuehrung der neuen Servermodelle.

Gruss
Joerg

Member
Beiträge: 325
Registriert: 01.10.2008, 13:46

Re: ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon Login » 16.07.2021, 12:34

Wenn ein Kunde derzeit vor der Anschaffung eines neuen shared Storage für den Betrieb seiner primären VMs steht, stellt er sich natürlich die Frage nach der Art der Technologie. Während die Ansprüche der allermeisten Kunden mit einem derzeitigen Hybrid-Storage aus SSDs und SAS HDDs mit AutoTiering oder alternativ vollflash und herkömmlicher SAS-SCSI oder FC Anbindung, abgedeckt werden können, gibt es auch Kunden, die an schnelleren Lösungen interessiert sind.

Mich würde daher schon auch interessieren, was ihr da für Hardware im Bereich 30TB hingestellt habt und in was für einer Preisliga ihr damit gelandet seid.

Member
Beiträge: 325
Registriert: 01.10.2008, 13:46

Re: ESXi und NVMe/NVMf -> redundante NVM Lösung?

Beitragvon Login » 21.07.2021, 12:58

wie wäre es damit?

HPE J2000

https://www.hpe.com/psnow/doc/PSN1013152091CHDE

bei der Variante mit 6 Hostports könnten bis zu 3 ESXi redundant verbunden werden, ohne die Notwendigkeit eines switches. Die Box an sich kostet um die 10k eur, dazu kämen dann "nur noch" Platten und die HBAs für die Server.

Ergebnis wäre eine durchgängige NVMe Lösung, voll redundant, VMware zertifiziert und bei redundanten 20TB eine echte Alternative zu den old school SCSI Storages, auch für kleinere Umgebungen.

Sehr interessant.

VG
C


Zurück zu „vSphere 7.0“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast