Das Forum wurde aktualisiert. Wurde höchste Zeit. Wenn etwas nicht funktioniert, bitte gerne hier jederzeit melden.
(Das "alte Design" kommt wieder, wird ne Weile brauchen!)

vSAN mit zwei (drei?) ESXi Servern

Alles zum Thema vSphere 6.5, ESXi 6.5 und vCenter Server.

Moderatoren: irix, continuum, Dayworker, Tschoergez

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 16.02.2017, 12:17

Nachdem ich schon seit Jahren von vSAN träume und es früher aufgrund der Anforderungen der VSA (Raid Controller etc.) zu den Akten gelegt habe denke ich jetzt wieder darüber nach. Inzwischen ist auch die von mir realisierbare ESXi Anzahl gestiegen so das auch 3 Server möglich wären. Nur zwei wären mir aber trotzdem lieber wenn möglich.

Leider finde ich zur vSAN dazu nicht die richtigen Informationen und/oder Anleitungen.

Erstmal sind mir die Mindestvorraussetzungen nicht wirklich klar: reichen zwei ESXi oder müssen es doch drei sein? Ist eine zusätzliche Netzwerkverbindung zwischen diesen Pflicht oder nur empfohlen? Reicht eine SSD in jedem Server als "Cache", bzw. was bedeutet das genau?
Reicht auch GB Lan für das zweite Verwaltungsnetzwerk?

Zweitens würde ich mir gerne eine "Kochbuchanleitung" für die Einrichtung wünschen. Möglichst mit der aktuellen 6.5 Version und NICHT als Film sondern zum lesen + Bilder und in Deutsch. Kennt da jemand eine Quelle? Zur Not kanns es auch was presiwertes zum kaufen sein.

Member
Beiträge: 243
Registriert: 27.03.2012, 15:03
Wohnort: Würzburg

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Gad » 16.02.2017, 12:40

Ich finde die Aussagen von Vmware eigentlich recht klar was VSAN betrifft,

Du braucht mindestens 3 Hosts, mindestens eine SDD und mindestens eine HDD (oder noch ne SSD wenn du SSD Storage machen willst)

https://kb.vmware.com/selfservice/micro ... Id=2106708

Mit der Einrichtung kann ich dir nicht helfen da ich vsan noch nie eingerichtet habe.

Was fehlt dir z.B. an dieser Anleitung?
https://www.virtuallyboring.com/vmware- ... ts-part-1/
Edit: OK, hab das "in Deutsch" überlesen

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 16.02.2017, 12:49

Stand Heute:
vSAN benoetigt technisch 3 Server (empfohlen 4 und mehr)

vSAN for RoBO
2x Server und der 3. ist eine virtuelle ESXi Whitness welche in der Zentrale laueft

Pro Diskgroup im Server
- 1x Cache Device (Flash, wird nicht zur Kapazitaet hinzugezaehlt!)
- 1-6 Capacity Devices (HDD)

Netzwerk
- bei Hybrid 1Gbit oder besser
- L2 Multicast
- bei AFA 10Gbit oder besser


Das Initiale Aufsetzen in so kleinen Installation ist extrem schnell gemacht. Hinten dran stehen dann halt die ein oder andere Design Entscheidung und I-Tüpfelchen.

In allen 2-4 Host Umgebungen war hier ein vSAN noch nie guenstiger wenn man nur CAPEX betrachtet und es einem typ. SAS Storage gegenueber stellt. Da ich vSAN nur bei Kunden mit vSphere Std./E+ habe muesste man nach fragen ob Essentials Plus auch funktioniert. Ich hatte mal Distri die Aussage das dies nicht gehen wuerde. Evtl. weis es ja ein anderer.


Gruss
Joerg

Experte
Beiträge: 1266
Registriert: 04.10.2011, 14:06

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon JustMe » 16.02.2017, 12:52

Mit vSAN 6.5 geht auch: Two-Node Configuration with Crossover Cables

Aber ob man das unbedingt will?

10G ist (nur) zwingend bei All-Flash-vSAN.

vSAN hat mit der VSA aber nun wirklich so ueberhaupt nichts zu tun.

Es gab auch mal "vorbereitete" 3- und 5-Node-vSAN-Cluster als VMs; da brauchts dann ueberhaupt keine dedizierten Platten und SSDs mehr, um sich mal einen Einblick zu verschaffen. Leider finde ich den Link nicht mehr... (Asche auf mein Haupt)

Ah, doch noch gefunden: http://www.virtuallyghetto.com/2015/02/updated-vsan-6-0-nested-esxi-ovf-templates-for-64-nodes-all-flash-array-fault-domain-testing.html
Von hier sind auch die 3- und 5-Node-Cluster verlinkt. Wenn's nicht Duncan E. oder Cormac H. waren, bleibt ja nur William L. :-)

Sorry, aber ohne Englischkenntnisse ist man der Welt der Computerei so ziemlich aufgeschmissen, wenn es um die "etwas forgeschritteneren Features" geht.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 16.02.2017, 13:56

JustMe hat geschrieben:Mit vSAN 6.5 geht auch: Two-Node Configuration with Crossover Cables


An den bisherigen Antworten kann man ja hier schon sehen das es wohl doch nicht so eindeutig ist. Was bedeutet denn 2 Node Cluster nun genau? Das es wirklich nur zwei ESXi Server gibt? Das nur zwei ESXi Server das virtuelle vSAN bilden aber ein dritter ESXi Server dieses "whitness" Überwacher macht?

Das ist mir eben leider! immer noch nicht klar. Der Link ist da auch eher oberflächlich :)

Aber ob man das unbedingt will?


Vorhanden sind jetzt zwei einzelne ESXi Server OHNE SAN nur mit lokalen SSDs/HDDs. Da wird zwar fleissig hin und her gebackupt aber das ist alles unbefriedigender Frickelkram.

Ein gemeinsames, ausfallsicheres (bei nur zwei Nodes wohl gespiegeltes) vSAN wäre da schon eine deutliche Verbesserung oder?
Das drei sicher noch besser sind als zwei ist mir auch klar wäre aber auch nochmal deutlich mehr Aufwand da der dritte noch nicht vorhanden ist.

Zusatzfrage: Kann das vSAN auch nur einen Teil der lokalen SSDs/HDDs umfassen? So das ich bequem mit VMs und Daten auf das vSAN umziehen kann und wenn es sich bewährt das vSAN dann mit den freigewordenen SSDs/HDDs erweitere?

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 16.02.2017, 13:59

JustMe hat geschrieben:Mit vSAN 6.5 geht auch: Two-Node Configuration with Crossover Cables


Achtung.... das muss im richtigen Kontext gelesen werden weil es betrifft nur vSAN RoBo oder auch 2 Node Stretched Cluster. In beiden Faelle wird die bereits angesprochene Virtuelle ESXi Whitness auf einem weiteren Geraet benoetigt. Das einzige was man hier "spart" sind die 10GbE Switche.

Gruss
Joerg

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 16.02.2017, 15:07

Wirrkopf hat geschrieben:....
Vorhanden sind jetzt zwei einzelne ESXi Server OHNE SAN nur mit lokalen SSDs/HDDs. Da wird zwar fleissig hin und her gebackupt aber das ist alles unbefriedigender Frickelkram.


Wenn es die Komponenten aus deiner Signatur sind dann macht es mit diesen niemals Sinn auch nur einen Gedanken an vSAN zu verschenken. Bei hohen 4- stelligen Lizenzkosten sehe ich das nicht als sinnvoll an. Bitte jetzt aber nicht falsch verstehen.


Ein gemeinsames, ausfallsicheres (bei nur zwei Nodes wohl gespiegeltes) vSAN wäre da schon eine deutliche Verbesserung oder?
Das drei sicher noch besser sind als zwei ist mir auch klar wäre aber auch nochmal deutlich mehr Aufwand da der dritte noch nicht vorhanden ist.


"Spiegel" ist bei vSAN nicht die richtige Bezeichnung meine ich. Aber davon abgesehen bedeutet es das eine Aenderung oder auch ein Fehler (Loeschbefehl) gleichzeitig auf alle beteiligten geschrieben wird. Das ist nun erstmal nicht eine deutliche Verbesserung oder?

Ein vSAN macht innerhalb eines Knoten kein RAID (im Gegensatz zu Simplifity). Das bedeutet es muss immer Redundanz eines ganzen Knoten gemacht werden und das ist etwas ungluecklich wenn man nur 2 Knoten hat. Bei Wartungsarbeiten an einem Knoten gibts dann nun einmal gar keine Absicherung mehr.

Zusatzfrage: Kann das vSAN auch nur einen Teil der lokalen SSDs/HDDs umfassen? So das ich bequem mit VMs und Daten auf das vSAN umziehen kann und wenn es sich bewährt das vSAN dann mit den freigewordenen SSDs/HDDs erweitere?


Ein vSAN Knoten kann mehr als einen Storagetyp haben. Die Frage ist wenn man nur einen Controller hat dort aber quasi 2 Unterschiedliche Beduerfnisse. Die Kontroller werden in den Passthrough Mode geschaltet fuer vSAN und habe nicht hinterfragt ob sie dann noch RAID oder so machen koennen. Ansonsten brauchts halt 2 Kontroller in der Kiste. Es ist normal kein Problem eine Disk zu einer Diskgroup hinzu zufuegen.

Beim Setup muesste man dann auch genau hingucken die passenden Disks zu erwischen wobei ich nicht sagen kann ob er VMFS Disks erkennt und ausblendet. Hier sind in den Hosts nur vSAN Disks drin.

Gruss
Joerg

Experte
Beiträge: 1266
Registriert: 04.10.2011, 14:06

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon JustMe » 16.02.2017, 15:20

@irix:
Voellig richtig; Du hattest ja bereits geschrieben, dass zum 2-Node-vSAN noch ein dritter ESXi als Witness (ohne "h"; hat nix mit White zu tun, sondern mit "Zeuge") gehoert; ich wollte das nicht wiederholen. Dieser dritte muss aber zum Datastore nichts beitragen.

@Wirrkopf:
Der Link auf das Bild war ja auch nur als Hinweis gedacht; da kommt man drauf, wenn man von der offiziellen Seite (in Deutsch!) weiter schaut.

Ja, das vSAN muss nicht alle lokal vohandenen Datentraeger umfassen. Nicht einmal alle, die am Controller, der vSAN-Devices bereitstellt, angeschlossen sind.

Ich persoenlich wuerde die Finger davon lassen, wenn derzeit alles laeuft. Da weiss man wenigstens was man hat. Gegenueber der jetzigen Konstellation ist in einem vSAN z.B. die atomare Einheit von VMs nicht mehr die vmdk, sondern (je nach Groesse, natuerlich), auch schon mal nur Teile davon. Wenn dann irgendwas schiefgeht...das will man nicht wirklich. Noch dazu in so einer gefrickelten Konfiguration.

Wie schon erwaehnt:
Erstell' Dir doch einen Virtuellen/Nested vSAN-Cluster, und spiel' damit. Da laesst sich auch wesentlich entspannter mal ein Hostausfall testen; ebenso ungleich konfigurierte ESXi. Und wenn Du das dann weiterhin toll findest, kannst Du Dich immer noch an die Umsetzung in die reale Welt machen.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 16.02.2017, 16:36

Danke für die bisherigen Antworten die mich schonmal weiterbringen.

Es müssen also auf jeden Fall drei ESXi Server sein. Da ich nur 1 GB Lan einsetze (immerhin mit einer zweiten Lan Karte in jedem Server) bringt es auch nichts wenn der Dritte nur die witness Rolle übernimmt. Ich würde das vSAN also auf allen drei Servern laufen lassen.

Zweite Controller wären vorhanden (die gebrauchten Dell Perc für 7 € :) ) aber offenbar ist das ja eh nicht nötig und es ist möglich SSD/HDD auch am selben Controller lokal wie bishe zu nutzen oder für das vSAN zu konfigurieren.

Das das vSAN sowenig ein Backup ist wie ein Raid-1 oder 5 ist mir klar aber es schützt numal vor Hardwareausfällen.

Wie verhält es sich mit dieser witness Instanz. Läuft die dann nur auf einem der drei Server? Oder auf allen dreien oder wie genau kann ich mir das vorstellen? Wenn der Server ausfällt auf dem die witness Instanz läuft passiert genau was? Und was wenn es einer der beiden anderen ist?

Wenn das vSAN aus drei Server besteht sind alle Daten dreifach redundant auf allen Servern? Also Netto nur 1/3 der Brutto Kapazität? Oder eher so wie in einem Raid-5 irgendwie aufgeteilt? Kann also 1 Server ausfallen oder 2 und es funktioniert noch?

Gibt es Rechnungen ab wann die Syncronisation über 1 GB Lan zu langsam wird? Wovon hängt das ab? Kann man das im Betrieb monitoren ob das zum Flaschenhals wird?

Zum Tipp es so zu lassen wie es gerade ist: Es ist leider nicht so das die derzeitige Lösung zum ruhigen Schlaf beiträgt. Es ist jahrelang gut gegangen aber mehr durch Glück als Verstand. Die Hardware ist jetzt auch schon ein paar Järchen alt und wird sicher nicht besser. Also ist mein Wunsch etwas zu verbessern schon recht groß.

Bei Autos schüttel ich auch über aufgemotze Billigkisten den Kopf und denke mir wer sich keine echten Sportwagen leisten kann solls lassen.
In der IT mache ich genau das selbe und hab Spass dran. :lol:

Achja es geht NICHT um den Server in meiner Signatur. Es ist schlimmer: Ich pfusche auch für andere ;)

Experte
Beiträge: 1266
Registriert: 04.10.2011, 14:06

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon JustMe » 16.02.2017, 17:25

Na, ein bischen Lesearbeit zum Verinnerlichen der Thematik sollte aber doch moeglich sein? Auch wenn sie zugegebenermassen nicht immer direkt unzweideutig zu interpretieren ist ;-)

Es ist nicht die Anzahl der Hosts, aus der sich die Anzahl der Kopien ergibt, sondern genau umgekehrt.

Im vSAN gibt es den Begriff "Failures to tolerate (FTT, Anzahl der zu tolerierender Fehler)", d.h. wie viele vSAN-Hosts ausfallen duerfen, ohne Daten zu verlieren. Dabei beginnt man eben mit "1", was bedeutet, dass jedes Informationsstueck 2x irgendwo im vSAN-Cluster gespeichert wird. Wie irix schon sagte, ist das bei 3 beteiligten Hosts aber keine Spiegelung von Hosts, Platten, oder Dateien, sondern eben von diesen Informationsstuecken. Somit "verliert" man bei FTT=1 halt die Kapazitaet eines Hosts. OK, Verlust ist es nicht; schliesslich "gewinnt" man die Redundanz. Auch die Auswahlmoeglichkeit, statt "Spiegelung" von Datenbloecken auch "Erasure Coding (RAID-5/6)" zu verwenden, lasse ich jetzt mal aussen vor; das erhoeht aber ebenfalls die Anzahl benoetigter Hosts.

Daraus ergibt sich aber nur die Minimalzahl an Hosts; so wie man ein RAID-5 ja auch aus mehr als 3 Datentraegern erstellen kann. Und bei FTT=2 braucht's halt auch einen Host mehr im Cluster.

Im Cluster ist meist jeder der Hosts Witness, also Zeuge, fuer die anderen (Ich lasse jetzt mal die Betrachtung von Fault Domains aussen vor). Auf jedem Host ist die vSAN-Software Teil des "Betriebssystems", und schliesslich sind ja auch alle Daten auf alle vSAN-Contributors verteilt. Nur in dem angesprochenen speziellen Falle, wo nur zwei Hosts den vSAN-Datastore bereitstellen, ist ein dritter ausschliesslich Witness, und nicht vSAN-Beteiligter. In genau diesem speziellen Falle hat man eben auch de facto eine Spiegelung der "Hosts".

Zu den anderen Punkten wie der "Wirtschaftlichkeitsberechnung des LAN" usw. moechte ich doch auf die von VMware bereitgestellte Literatur verweisen. Einstieg ueber https://www.vmware.com/support/pubs/virtual-san-pubs.html; dort finden sich auch Hinweise zur Dimensionierung fuer zu erwartenden Traffic usw. usf., sogar in Deutsch.

Aber wie kommst Du auf die Idee, dass durch den Einsatz von vSAN irgendetwas (bei gegebener Hardware) "verbessert" wuerde?

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 16.02.2017, 17:47

Ergaenzend..... der vSAN Datastore ist ein Objekt Store. Eine "VM" besteht nicht mehr aus Dateien sondern einzeln Objekten wie z.B die Config Datei, vDisk, Snapshot usw. Ueber die FTT legst du fest wie viele Kopien er von einem Objekt machen soll. Zusaetzlich kommt zu jedem Objekt noch ein Witness welche aber nur Metadaten enthaelt und somit "klein" ist. Das vSAN traegt sorge das alle diese Elemente nicht auf dem gleichen Host abgelegt werden. In solchen Geschichten "muessen" sich halt immer 2 sehen um zu erkennen das kein Split-Brain vorliegt.

Bei FTT=1 wird aus einer 100GB VMDK.
1x VMDK 100GB auf Host 1
1x VMDK 100GB auf Host 2
1x Witness 0.0GB auf Host 3

Es werden somit 200.1GB an Speicherplatz benoetigt. Bei FTT=2 werden 4 Hosts benoetig und es sind schon 300.1GB.

Erasure Encoding aka RAID5/6 benoetigt mehr Hosts und zusaetzliche Lizenz. Dafuer ist die Verschnitt bedeutet guenstiger.

Fuer jeden der sich dafuer begeistert sei der Rat erteilt er moege sich zu 100.1% an die HCL und die Kombi aus Device+FW+Treiber halten. Wer das nicht tut hat auch in seiner Freizeit auch Spass auch Russisch Roulette oder so. Fuer Test und Spiel ist das alles egal... aber wenn das fuer einen "Kunden" ist und Produktiv dann laesst man von allen anderem die Finger.

Da jeder Schreib IO parallel auf 2 Hosts geht muss das Netzwerk Low- latency haben und entsprechend Bandbreite.

Aus eigener Erfahrung kann ich sagen das man mit Alter eher zu richtigen Sportwagen tendiert und in juengeren Jahren durchaus auch anderes akzeptiert und da sein Spass dran haben kann.

Gruss
Joerg

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 12:13

Wie ist die Fachmeinung zu folgendem Plan:

2 identische ESXi Server mit jeweils: 32 GB Ram, 4 SSDs (gesamt 2 TB) und 2 HDDs (gesamt 6 TB). Hardware in beiden genau gleich. Direkt Verbunden durch 10 GB Lan. Zweite Lan 1 GB an Switch

1 ESXi Server, 16 GB Ram, 1 SSD (512 GB) und 2 HDDs (gesamt 3 TB) als Witness und auf dem soll auch die VCSA laufen. Lan 1 GB an Switch

Hardware ist bis auf den Witness Server und das 10 GB LAN alles schon vorhanden und muss nur umgebastelt werden.

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 20.02.2017, 12:25

Ich wiederhole nochmal von oben
Pro Diskgroup im Server
- 1x Cache Device (Flash, wird nicht zur Kapazitaet hinzugezaehlt!)
- 1-6 Capacity Devices (HDD)


weil da komme ich bei deinen 4 SSDs und 2 HDDs pro Host nicht mit. Des Weiteren war selbst bei meinen kleinen Testclustern hier der ESXi Speicherverbrauch so bei 8-10GB. VMware gibt als maximum (Max. Disk und max. Diskgroups) 32GB pro Host an. Was Compression/Dedup schluckt und obs dazu kommt weis ich nicht. Ich hatte es nicht aktiviert.

Du hat einen Hammer in der Hand und alles um dich herum schaut nach einem Nagel aus oder? Nochmal... war das Test und Spielumgebung?

Ansonsten schau dir HP Virtual Store (das sind dann VSAs) an. Das geht auch mit 2 Server und das mit dem 10Gb DA koennte supportet sein. Allerdings wird es nach Kapazitaet lizenziert und ohne Lizenz/Wartung stellt es den Betrieb ein.

Gruss
Joerg

Guru
Beiträge: 2080
Registriert: 21.10.2006, 08:24

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon bla!zilla » 20.02.2017, 12:46

Aus eigener, sehr leidvoller Erfahrung im Lab: Vergiss vSAN mit Consumer SATA-SSDs. Vergiss es einfach. Es wird dir um die Ohren fliegen.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 12:48

irix hat geschrieben:Ich wiederhole nochmal von oben
Pro Diskgroup im Server
- 1x Cache Device (Flash, wird nicht zur Kapazitaet hinzugezaehlt!)
- 1-6 Capacity Devices (HDD)


weil da komme ich bei deinen 4 SSDs und 2 HDDs pro Host nicht mit. Des Weiteren war selbst bei meinen kleinen Testclustern hier der ESXi Speicherverbrauch so bei 8-10GB. VMware gibt als maximum (Max. Disk und max. Diskgroups) 32GB pro Host an. Was Compression/Dedup schluckt und obs dazu kommt weis ich nicht. Ich hatte es nicht aktiviert.

Es sieht so aus als hätte ich das vSAN immer noch nicht verstanden. :( Ich hatte es bisher so verstanden:

Ich brauche min. 1 SSD für den Cache. Die habe ich ja in jedem ESXi Server. Dann kann ich 1-5 Disk für den eigentlichen Speicher zur verfügung stellen. Nun dachte ich das es dabei egal ist ob SSD oder HDDs bzw. das ich das wild mischen kann. Ich wollte also durchaus bewust SSDs UND HDDs als Speicher im vSAN zur Verfügung stellen und habe gedacht das ich dann beeinflussen kann das die VMs auf den SSDs landen und Backups etc. auf den HDDs. Falsch?

Also konkret dachte ich mir das so: 1. SSD mit 256 GB als Cache Device, 3 SSDs mit 1,75 TB und 2 HDDs mit 6 TB als Capacity Devices
sind in jedem der beiden ESXi Server vorhanden. Also insgesamt 12 Drives in zwei Servern.

im Dritten Server dann als Witness. Was benötigt der dann genau? eine 1 SSD als Cache Device und 1 HDD als Capacity Device? Oder nur das Cache Device?

Was bedeutet 8-10 GB Speicherverbrauch? Allein durch das nutzen des vSANs? Wovon hängt das ab? Bleiben von meinen 32 GB also nur noch 24 GB Ram für die VMs? Oder nimmt sich das vSAN eben soviel wie da frei ist und wenn nicht mehr frei ist dann wird es nur weniger performant?

Du hat einen Hammer in der Hand und alles um dich herum schaut nach einem Nagel aus oder? Nochmal... war das Test und Spielumgebung?

Im Moment will ich das nur ausprobieren.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 12:50

bla!zilla hat geschrieben:Aus eigener, sehr leidvoller Erfahrung im Lab: Vergiss vSAN mit Consumer SATA-SSDs. Vergiss es einfach. Es wird dir um die Ohren fliegen.


Kannst Du das erläutern? Und ja "natürlich" sind das Consumer SSDs in den Kisten bei denen ich das ausprobieren will. :lol:

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 20.02.2017, 13:16

Wirrkopf hat geschrieben:Es sieht so aus als hätte ich das vSAN immer noch nicht verstanden. :( Ich hatte es bisher so verstanden:


Organisiert wird das ganze in Diskgroups. Eine Diskgroup besteht immer aus:
1. 1x Cache Device Flash/SSD
2. 1-6x HDD

Da beisst die Maus keinen Pfaden ab. Natuerlich kann man die Devices so "taggen" das er das nicht als SSD erkennt oder zwecks Test das er aus einer HDD eine SSD macht. Ansonsten kann man die Konfiguration nicht vornehmen. Fuer das Cachedevice wird noch eine maximale Groesse vorgegeben.

im Dritten Server dann als Witness. Was benötigt der dann genau? eine 1 SSD als Cache Device und 1 HDD als Capacity Device? Oder nur das Cache Device?


Das ist eine Witness Appliance in Form eines virtuellen ESXi Hosts.


Was bedeutet 8-10 GB Speicherverbrauch? Allein durch das nutzen des vSANs? Wovon hängt das ab? Bleiben von meinen 32 GB also nur noch 24 GB Ram für die VMs?


Ja, fuer deine VMs verbleiben nur noch ~24GB. Ich wollte da nur drauf hingewiesen haben weil meine Testhosts haben auch nur 32GB gehabt und blieb fuer VMs nichts mehr uebrig.

Gruss
Joerg

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 13:55

irix hat geschrieben:Organisiert wird das ganze in Diskgroups. Eine Diskgroup besteht immer aus:
1. 1x Cache Device Flash/SSD
2. 1-6x HDD

Da beisst die Maus keinen Pfaden ab. Natuerlich kann man die Devices so "taggen" das er das nicht als SSD erkennt oder zwecks Test das er aus einer HDD eine SSD macht. Ansonsten kann man die Konfiguration nicht vornehmen. Fuer das Cachedevice wird noch eine maximale Groesse vorgegeben.


Also kann man SSDs und HDDs nicht mischen. Wieder mehr verstanden. Es soll aber auch ONLY SSD (all Flash?) groups geben?

Wie sieht es denn mit mehr als einer Diskgroup aus?

Diskgroup 1: 1 x SSD 256 GB, 1x HDD 4 TB 1x HDD 2 TB sollte dann doch gehen.

Diskgroup 2: nur SSDs?

Wirrkopf hat geschrieben:im Dritten Server dann als Witness. Was benötigt der dann genau? eine 1 SSD als Cache Device und 1 HDD als Capacity Device? Oder nur das Cache Device?


Das ist eine Witness Appliance in Form eines virtuellen ESXi Hosts.

Die dann auf einem realen ESXi Host läuft? Was verbraucht die denn an vRam etc.?

Ja, fuer deine VMs verbleiben nur noch ~24GB. Ich wollte da nur drauf hingewiesen haben weil meine Testhosts haben auch nur 32GB gehabt und blieb fuer VMs nichts mehr uebrig.

Sind es immer 8-10 GB egal wie groß die Kapazität des vSAN ist?

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 20.02.2017, 14:31

Wirrkopf hat geschrieben:
irix hat geschrieben:Organisiert wird das ganze in Diskgroups. Eine Diskgroup besteht immer aus:
1. 1x Cache Device Flash/SSD
2. 1-6x HDD

Da beisst die Maus keinen Pfaden ab. Natuerlich kann man die Devices so "taggen" das er das nicht als SSD erkennt oder zwecks Test das er aus einer HDD eine SSD macht. Ansonsten kann man die Konfiguration nicht vornehmen. Fuer das Cachedevice wird noch eine maximale Groesse vorgegeben.


Also kann man SSDs und HDDs nicht mischen.


Das ist jetzt etwas ungluecklich ausgedrueckt. Ich sage es mal anders
1. 1x CacheDevice
2. 1-6x Kapazitaets Device

Als innerhalb einer Diskgroup gibt es da schon SSD+HDD, aber immer nur genau eine SSD und nicht 2 oder so.

Wieder mehr verstanden. Es soll aber auch ONLY SSD (all Flash?) groups geben?

Wie sieht es denn mit mehr als einer Diskgroup aus?

Diskgroup 1: 1 x SSD 256 GB, 1x HDD 4 TB 1x HDD 2 TB sollte dann doch gehen.


Yupp.
Pi*Daumen waere >=10% muss Cache im Verhaeltnis zur Kapazitaet sein. Es kommt hier aber stark auf das IO Verhalten an.


Diskgroup 2: nur SSDs?


Hmm... k.a ob das geht.
Das war bis vSAN 6.5 eine extra Lizenz. Nun ist AFA auch in vSAN Std. enthalten.

Wirrkopf hat geschrieben:im Dritten Server dann als Witness. Was benötigt der dann genau? eine 1 SSD als Cache Device und 1 HDD als Capacity Device? Oder nur das Cache Device?


Das ist eine Witness Appliance in Form eines virtuellen ESXi Hosts.

Die dann auf einem realen ESXi Host läuft? Was verbraucht die denn an vRam etc.?


Ja die "ESXi VM" laeuft auf einem realen ESXi Host. K.A was die als Memory verbraucht aber ich schaetze es sind weniger als die 10GB.



Ja, fuer deine VMs verbleiben nur noch ~24GB. Ich wollte da nur drauf hingewiesen haben weil meine Testhosts haben auch nur 32GB gehabt und blieb fuer VMs nichts mehr uebrig.

Sind es immer 8-10 GB egal wie groß die Kapazität des vSAN ist?


Nein, das haengt von der Anzahl der Disks und Diskgroups an. Die 32GB gibt VMware als maximum an.

Gruss
Joerg

Benutzeravatar
King of the Hill
Beiträge: 12046
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Dayworker » 20.02.2017, 14:48

Wirrkopf hat geschrieben:
bla!zilla hat geschrieben:Aus eigener, sehr leidvoller Erfahrung im Lab: Vergiss vSAN mit Consumer SATA-SSDs. Vergiss es einfach. Es wird dir um die Ohren fliegen.


Kannst Du das erläutern? Und ja "natürlich" sind das Consumer SSDs in den Kisten bei denen ich das ausprobieren will. :lol:

Das Hauptproblem von Consumer-SSDs in diesem Zusammenhang ist deren Schreiblatenz sprich wie zügig Daten wirklich ins Flash weggeschrieben wurden. Intel wirbt für seine Server-SSD 3700 mit 99% innerhalb 1ms und selbst im ungünstigsten Fall sind dort alle Daten nach 16ms weggeschrieben. Ähnliche Werte gelten auch für die anderen Hersteller von Server-SSDs und gerade diese geringe, zugesicherte Latenz macht sie neben der TBW-Angabe auch deutlich teurer als Consumer-SSDs. Das schließt somit auch den Einsatz von Consumer-SSDs in Raids aus.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 15:10

Dayworker hat geschrieben:
Wirrkopf hat geschrieben:
bla!zilla hat geschrieben:Aus eigener, sehr leidvoller Erfahrung im Lab: Vergiss vSAN mit Consumer SATA-SSDs. Vergiss es einfach. Es wird dir um die Ohren fliegen.


Kannst Du das erläutern? Und ja "natürlich" sind das Consumer SSDs in den Kisten bei denen ich das ausprobieren will. :lol:

Das Hauptproblem von Consumer-SSDs in diesem Zusammenhang ist deren Schreiblatenz sprich wie zügig Daten wirklich ins Flash weggeschrieben wurden. Intel wirbt für seine Server-SSD 3700 mit 99% innerhalb 1ms und selbst im ungünstigsten Fall sind dort alle Daten nach 16ms weggeschrieben. Ähnliche Werte gelten auch für die anderen Hersteller von Server-SSDs und gerade diese geringe, zugesicherte Latenz macht sie neben der TBW-Angabe auch deutlich teurer als Consumer-SSDs. Das schließt somit auch den Einsatz von Consumer-SSDs in Raids aus.


Das trifft dann aber auch für den einsatz von Consumer SSDs im allgemeinen zu oder?

Da ich in den Kisten aber schon seit Jahren diese Consumer SSDs einsetze,ohne negative Erfahrungen, dürfte es doch wurscht sein ob ich das nun einzeln mache oder mit einem vSAN?

Benutzeravatar
King of the Hill
Beiträge: 12046
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Dayworker » 20.02.2017, 15:26

Die Schreiblatenz haben alle Datenträger, bei Consumer-SSDs sind diese Schwankungen aber grösser als bei HDDs. Solange die SSD einzeln für sich läuft, sind Latenzschwankungen unproblematisch. Beim vSAN jedoch wird die SSD meines Wissens als Cache genutzt und muß daher möglichst schnell gleichmäßige Antwortzeiten liefern. Es macht ja keinen Sinn, wenn der Cache langsamer als der zu cachende Datenträger ist und durch die Latenzschwankungen bei Consumer-SSDs tritt das unweigerlich auf.

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 16:52

Gibt es bei einer all Flash Disk Group noch eine separate flash SSD?

Jenseits von Gut & Böse
Beiträge: 10967
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon irix » 20.02.2017, 16:59

Wirrkopf hat geschrieben:Gibt es bei einer all Flash Disk Group noch eine separate flash SSD?


Ja.

AFA Diskgroup
- 1x Buffer Device
- 1-6x Capacity SSDs


Die Loesungen der Hersteller bei AFA setzen da so auf DC P3700 mit hoher Write Endurance oder aehnliches. Auch bei AFA gehen die Writes erstmal auf das eine Device. Aus dem "Cache" wird ein (Write)"Buffer", weil die Reads dort nicht mehr gecached werden sondern direkt und fuer immer von den Capacatiy SSDs kommen.

Gruss
Joerg

Member
Beiträge: 381
Registriert: 28.01.2005, 11:14

Re: vSAN mit zwei (drei?) ESXi Servern

Beitragvon Wirrkopf » 20.02.2017, 22:02

Und wenn man bei einer AFA Disk group eine "normale" SATA SSD als Buffer Device nimmt passiert was?

Das es recht sinnlos ist sehe ich ein aber funktioniert es trotzdem?

Wäre es sinnvoll eine schnelle NVMe SSD als Buffer Device zu verwenden?


Zurück zu „vSphere 6.5“

Wer ist online?

Mitglieder in diesem Forum: irix und 1 Gast