Mehrere SSDs in einem Datastore (PCIE?) | Verwaltung über vCenter

[tsc]

Hallo Foristen,
da unsere Server aufgrund eines Umzugs des Unternehmens neu konfiguriert/installiert werden sollen, eruiere ich, was der richtige Weg für die bisher "historisch gewachsene Konfiguration" wäre, um etwas aufzuräumen. Vielleicht habt ihr eine Idee, die ich noch nicht bedacht habe.

Ist Zustand/Hintergrund:
1 ESXi v6.5 mit 128 GB Ram und 56 Threads
1 ESXi v6.5 mit 128 GB Ram und 32 Threads
Verwaltung über Desktopapp vSphere Client
Lokale SSDs (PCIE/SATA) als Datastore (bisher jede SSD einzelner Store!)

Lizenzen:
ESXi Essentials Kit (ohne plus)
Veeam Backup (Essentials)

Wir verwenden derzeitig ca. 20-30 VMs und sind auf schnelle Schreib- und Leseraten angewiesen. Da wir bisher nur mit dem alten vSphere Client gearbeitet haben, ist jede SSD ein einzelner Datastore. Dadurch haben wir viel ungenutzten Speicher, da auf jeder SSD ca. 50-150 GB unnötig offenbleiben.

Gibt es Gründe die dagegen sprechen, beispielsweise 6 SSDs eines SATA Controllers zu einem Datastore zusammenzufassen? Gibt es bekannte Probleme beim Zusammenfassen mehrere PCIe SSDs zu einem Datastore? Kann man evtl. sogar mischen(SATA/PCIE)? Einen Datastore um eine SSD erweitern? Ich weiß, dass es die Funktion Datastore erweitern gibt, doch kann man die angedachte Konfiguration in der Praxis empfehlen?

Wir brauchen nicht nur einen hohen Durchsatz, sondern eine geringe Latenz und viele IOPS, da wir keine großen Daten bewegen, sondern viele Operationen durch SQL, Installationen und Indizierung verursachen. Ein Array aus HDDs ist dadurch weniger geeignet.

Bei dem Umfang unserer Daten würde man eigentlich anfangen über iSCI Speicher nachzudenken, jedoch befürchte ich, dass es nicht möglich sein wird, Schreib und Leseraten auf das gesamte SSD Array von ca. 10 GBs Netto kostengünstig von einem Externen Gehäuse aus zu erzielen?

Zusätzlich dazu stellt sich auch die Frage, ob mit der derzeitigen VMWare Lizenz eine Verwendung des VSphere Centers sinnvoll ist um die beiden ESXi zu verwalten. Besondere Features konnte ich anhand meiner Recherche bisher nicht finden, diese würden alle das Essentials Plus Kit benötigen. Wie handhabt ihr das, was wäre der richtige Weg?

Mit freundlichem Gruß
Tobias

[JustMe]

Zuerst eimal kann man nicht mehrere schon mit Datastores versehene LUNs (oder einzelne Datentraeger) zusammenfassen. Man kann immer nur mit freiem Bereich "erweitern".

Dann ist bei solchen zusammengepappten LUNs immer die Gefahr, dass eine in der Kette verlorengeht. Bei tatsaechlichen LUNs auf einem Shared Storage System (vielleicht sogar Enterprise-Klasse) ist das meist durch die darunterliegende Konfiguration echt unwahrscheinlich, aber bei einzelnen physischen Datentraegern noch dazu an einem SATA-Controller,... naja...

Ein vCenter bei zwei Hosts ohne Shared Storage und lediglich Essentials-Lizenz ist in den allermeisten Faellen nicht notwendig. Wenn man noch freie Kerne (nicht Threads!), freien Hauptspeicher und freien Plattenspeicher hat, kann man sich aber schon mal fuer spaetere, groessere Aufgaben vorbereiten. Die Lizenz zum Betrieb hat man ja.

Zu den Performance-Daten von aktuellen All-Flash-Storage-Arrays moegen sich dann Foristen mit mehr Vertriebserfahrung aeussern.

[tsc]

Zuerst eimal kann man nicht mehrere schon mit Datastores versehene LUNs (oder einzelne Datentraeger) zusammenfassen.

Ja, das stimmt natürlich, mir geht es jedoch um leere Platten ohne Datastore. Erstellt wird ein neuer Datastore, mit mehreren leeren SSDs, oder es wird ein bestehender Datastore um eine leere SSD erweitert.

Bei Ausfall einer SSD wären mehrere VMs betroffen, wahrscheinlich alle im selben Datastore - wir führen jedoch zu jeder Maschine mindestens täglich 1 Backup auf VM Ebene und weitere Backups VM-intern. Auch haben wir keine Kunden auf unseren Systemen. Hier steht Performance tatsächlich weit vor der Ausfallsicherheit. So oder so, würde ich nur SSDs, welche auf der selben PCIe Karte sind(max 4*m2), oder maximal 2-4*SATA SSDs eines Controllers in einem Datastore zusammenfassen.

Was ich nicht weiß ist , wie der Server einen Datastore über 4 unabhängige SSDs verwaltet. Wenn ich 4*1TB m2 SSDs zu einem Datastore kombiniere, sodass eine Datastore von knapp 4 TB entsteht, nutzt ESXi dann auch alle gleichzeitig, oder beschreibt er erst die ersten 1TB und dann die weiteren? Werden einzelne Dateien über mehrere Datastores gesplittet?

Wenn ein Controller dazwischen hängt, dann verwaltet dieser die Platten und die Lastverteilung, aber ich reiche sie ja direkt an ESXi zur Verwaltung. Natürlich habe ich unabhängig davon den Vorteil, dass ich den Restspeicher auf jeder einzelnen Platte noch nutzen kann. Mehrere kleinere SSDs sind auch günstiger, als eine Große und haben insgesammt eine höhere zertifizierte Lebensdauer und Lese- bzw. Schreibrate.

Es ist angedacht, einen 8-16 Thread Server aufzusetzen, auf welchem der Domänecontroller, das Veeam und Acronis Backup und evtl. auch der vCenter laufen soll (wir wissen eben noch nicht, ob wir diesen benötigen). Das Backup der VMs wird ebenfalls auf diesem Server gespeichert. Diese Backups werden dann auf 2 Synologys synchronisiert.

Kann ich denn über den vCenter, neue Maschinen auf beiden ESXi erstellen, verwalten, löschen umkonfigurieren? Und habe ich dort den vollen Funktionsumfang der neusten Features, im Gegensatz zum älteren vSphere Client (kann also die neusten VM-Versionen verwalten)? Die Weboberfläche des ESXi gefällt mir persönlich nicht so sehr...


Edit: Auf jeden Fall schon mal vielen Dank für die Antwort.

[JustMe]

Leider "verwaltet" der ESXi solche vergroesserten Datastores ueberhaupt nicht. Da gibt's also nix wie Lastausgleich, gleichzeitige Nutzung oder sowas. Je nach Verwendung kann auch eine Datei im Datastore dann auf der einen SSD beginnen, und auf der naechsten fortgefuehrt werden.

Der Sinn und Zweck eines vCenter Servers ist ja gerade die gemeinschaftliche Verwaltung von mehreren ESXi Hosts unter einer einzelnen Oberflaeche. Wenn wie bei Essentials ja eigentlich saemtliche interessanten Funktionen fehlen, ist dies vielleicht als der einzige nutzbare Vorteil zu nennen.

Der volle Funktionsumfang zur Konfiguration steht auf jeden Fall im vCenter Server zur Verfuegung. Hier gibt es dann den WebClient, der aber auch nicht in jedermann's Augen der Weisheit letzter Schluss ist. Und selbst dieser wird wohl demnaechst gegen einen der "Weboberflaeche des ESXi" aehnlichen, und derzeit bereits parallel verfuegbaren HTML5-Server fallengelassen. Insofern ist "Nicht-Gefallen" zwar traurig, aber wohl nicht zu aendern
Der C#-Windows-Client ist (fuer neue Funktionen) auf jeden Fall tot wie eine gestrige Eintagsfliege.

[Dayworker]

In meinen Augen funktioniert das Erweitern eines DS über mehrere Datenträger weiterhin, allerdings war das noch nie risikolos. Stirbt dir ein Datenträger mittendrin weg, ist der DS zumindest ab diesem Datenträger weg und vermutlich dann sogar ganz. Daher macht man solche Spiele eigentlich nicht mehr und von M2-SSDs halte ich im Server-Einsatz prinzipiell recht wenig. Eine hohe IO-Leistung geht immer mit einer entsprechenden Wärmeentwicklung einher und da euch gerade IOPS wichtig sind, kann man aufgrund der Erwärmung sich runtertaktende SSDs einfach nicht gebrauchen. Klar kann man da mit einem Kühlkörper gegensteuern, aber der Spaß bei M2 fängt ja schon damit an, daß einige MBs doppelseitige Ausführungen überhaupt nicht aufnehmen können und etwas Platz wolltet ihr ja auch haben...
Von daher präferiere ich dann an der Stelle ganz klar PCIe NVMe 3.0 x8 sprich Intel DC-3500 aufwärts. Der preistechnische Unterschied zwischen 4x M2-SSDs oder 1x Intel DC wird sich ja hoffentlich in Grenzen halten.

Die Weboberfläche ist etwas ungenau. Durch das vCenter hast du ja weiterhin den Web-Client auf Flash-Basis zur Verfügung und der kann sämtliche Möglichkeiten ansprechen. Die von VMware als Flash-Ersatz konzipierte HTML5-Geschichte ist leider noch nicht ganz vollständig umgesetzt und hackelt noch an einigen Stellen. Nicht erst auf lange Sicht wird man aber um HTML5 nicht herumkommen, dazu hatten zuviele ESXi-Nutzer sich über die Abhängigkeit zu Winzigweich beschwert und ein vCenter auf Win-Basis braucht man jetzt ja nur noch bei sehr wenigen Szenarien.

[tsc]

Vielen Dank, ihr habt mir da soweit meine Bedenken bestätigt und auch anderweitig schon weitergeholfen.

Ich habe mir schon gedacht, dass der ESXi die zusammengeklebten Speicher eher "dumm" handhabt, aber so oder so, wenn jeder einzelne Zugriff auch nur über eine SSD läuft, komme ich trotzdem auf eine effektive Netto Geschwindigkeit.

Wärmeentwicklung bei m2.SSDs ist natürlich ein Thema, in dem Adapter den ich nutzen würde, ist jedoch eine aktive Kühlung vorgesehen(abschaltbar). Ich kenne den Adapter nun nicht aus erster Hand, gehe aber davon aus, das da auch schon Wärmeleitpads vorhanden sind, oder nachgekauft effektiv mit dem Gehäuse eingesetzt werden könnten. Insgesammt besteht im Fractal XL2 derzeitig ein recht gesunder Durchzug. Die Funktionsfähigkeit mit ESXi 6.5 wurde mir bereits bestätigt, der Controller auf der Karte ist durchsichtig und regelt den Lüfter und anderes.

Der Gerät: "ASUS HYPER M.2 X16"

Ich habe auch bereits geprüft, dass das Mainboard bifurcation fähig ist: https://www.quora.com/What-is-PCIe-port-bifurcation
Ich hätte 4 PCIe Schnitstellen die ich voll zu je "4x4x4x4" anschließen kann, sowie eine weitere einzelne x4 Schnitstelle. Sprich 17 m2 SSDs. Die sind auch alle gleichzeitig nutzbar, da die 2 CPUs in den Sockeln genug Lanes haben. Eine einzige PCIe (x16 physikalisch, x8/x0 beschaltet) Schnitstelle wird dann nicht mehr beschaltet, weil es dazu dann doch an Lanes fehlt.

Ich werde mich dann doch zum vCenter entscheiden.

Eine Frage hätte ich dann jedoch noch:
In welcher preislichen größenordnung würde ein "System" liegen, welches ca. 12-20 SATA SSDs umfasst, diese effizient beschreiben kann und an 2 ESXi Maschinen angeschlossen wird. Sprich, eine zentrales Storage. Inklusive Schnittstelle zu den Servern, exklusive SSDs. Wenn mir da noch jemand auf die Sprünge helfen könnte, denn da haperts es bei mir an Erfahrung und Best Practices.

Ich bedanke mich vielmals, das Forum ist sauber, lässt sich gut durchsuchen und bietet viele hilfreiche Infos.

Mit freundlichem Gruß
Tobias

Edit: Die PCIe SSDs (ohne m2) sind leider rund 15-25 % teurer bei gleichen Qualitäten und bieten dann für einen Speicher auch nur ein Viertel der Schreib/Leserate eines gesplitteten Systems mit 4*1 TB gegenüber 1*4tb. Lasse mich jedoch gerne eines besseren belehren. Dazu sollte gesagt werden, das wir ein kleiner Betrieb mit rund 15-20 Mitarbeitern sind. Die SSD Preise machen einen großteil unserer IT-kosten aus. Ein Aufschlag von 15-25% ist ausschlaggebend. Ich muss schon zugeben, das wir auch eher zu den Fummlern gehören, die etwas Arbeit und Recherche investieren um zu prüfen ob es nicht auch anders geht, solange die perfomance dann auch stimmt.

[Dayworker]

Was für ein MB hast du denn im Einsatz, daß du volle 64 PCIe-Lanes hast?

Das Win-vCenter wird definitiv sterben. Jetzt noch ein neues aufzusetzen, würde ich mir verkneifen, wenn ihr nicht irgendwelche Altlasten weiter mitschleppen wollt bzw müßt. Nur das Pendant als VMware-Appliance hat eine Zukunft.

Preislich dürfte schwer werden, weil viele Hersteller gerne ihre dafür zertifizierten Datenträger verwenden wollen. Ich würde daher einfach mal schauen, was All-Flash-Storages so kosten. Beispielsweise Chenbro bietet da viele bunte Dinge an oder falls es Dell werden soll, wäre unser "irix" ein Ansprechpartner.

[tsc]

Es handelt sich um ein SSI-EEB Board welches mit 2 e5-2680 Xeons bestückt ist (je 40 Lanes). Board: Asrock ep2c602-4l/d16

Wir haben das Board nun schon eine Weile, ursprünglich wurde es für Unraid und PCIe Passthrough genutzt (darum wurde auf ein Board mit vielen Lanes und vielen Möglichkeiten der Konfiguration geachtet). Der andere ESXi ist auf einer neueren Plattform (Xeon v3) aufgebaut. Ich glaube nicht, das wir die ausreitzen werden, vielleicht wenn tatsächlich noch 10gbit kommen soll - und einige SSDs.

Meinst du mit der Appliance eine vCenter Appliance (z.B. auf Linux?) von der ich noch nichts weiß, oder die HTML5 Weboberfläche?

Ich denke auch, das der Preis für einen zentralen Speicher derzeitig Off-Limit ist...