VMware-Forum

Hallo zusammen,

habe schon seit langem interessiert mitgelesen, da wir den Umstieg auf eine VMware-Umgebung inkl. neuem SAN realisieren möchten.

Heute haben wir neun Hardwareserver und alle sind bunt gemischt mit den verschiedensten Diensten. Darunter sind auch drei DELL R710 mit jeweils vier 1GBit-Anschlüssen, zwei CPUs und 32GB RAM. Diese Maschinen möchten wir für VMware als Hosts nutzen. In unserem Netz sind ca. 75 Clients vorhanden.

Bestellt haben wir für das ganze jetzt folgendes:
- VMware Essentials Plus inkl. Wartung
- 3x Win2k8r2 Datacenter für zwei der Hosts
- 4x DELL Powerconnect 8024F
- 2x Equallogic 6110 XV mit jeweils 24x 600 GB SAS HDDs (15k)

Wir haben uns für zwei Equallogics entschieden, da wir so je ein System in einen unserer beiden Serverräume stellen können. Einen Host stellen wir ebenfalls in den anderen Raum und von den Switchen kommen ebenfalls je zwei in einen Raum für den reinen Connect zwischen Hosts/SAN. Somit haben wir zumindest mal den Anfang für eine HA-Lösung.

Bereits heute haben wir auf einem der Server einen ESXi installiert und auch schon einige Maschinen darauf laufen, in den nächsten Wochen wird der Rest geliefert und wir sind uns noch nicht ganz sicher wie wir das ganze einrichten und deshalb wollte ich mal eure Erfahrung abfragen und mir hier ein paar Tipps holen.

Das SAN-Netz wollen wir komplett vom LAN trennen, deshalb die vier DELL-Switche. Bei den Hosts haben wir uns vorgestellt, dass wir erstmal je zwei Netzports (je 1 Gbit) in das LAN bzw SAN-Netz hängen.
Bei den Ports fürs SAN und am SAN selbst würden wir JumboFrames aktivieren.

Die Eql's haben je zwei 10GBit-Schnittstellen, welche wir über die vier Switche mit den Hosts verbinden möchten.

Unsere Überlegungen, wo wir noch nicht sicher sind:

- Ist es ausreichend erstmal mit je 2Gbit im LAN und SAN pro Host verbunden zu sein oder hätten wir hier gleich auf 10GBit umsteigen sollen? Im Vorfeld meinten alle Anbieter 10GBit wären nicht unbedingt notwendig beim SAN bzw den Hosts.
- Welche Aufteilung für die LUNs macht Sinn? Einen Gesamtdatenspeicher oder in kleinere aufteilen?
- Welches RAID-Level sollten wir wählen? RAID5 oder 6 bzw 10 wurde uns empfohlen. Macht ein Mischen Sinn?
- Worauf müssen wir achten? Welche Tipps habt ihr noch für uns, wo wir stolpern könnten?

Das SAN wird zwar nachher durch DELL auch in Betrieb genommen, aber würde einfach gerne unabhängig davon mir einige Meinungen sammeln, vielleicht könnt ihr uns da ja helfen?

Gruss

Da ich muede und geschlaucht bin nur Kurz. Da nichts ueber die Anforderungen an Kapazitaet, IOPS, Bauliche Vorraussetzungen, Planungsphase und Begruendungen fuer Entscheidungen bekannt sind hier nur kurz.

- R710 alter Kram und Nachfolger seit Maerz Lieferbar
- 32GB ist eine unbalanced Konfig und fuer einen virtualiserungs Server eher "zuwenig". 48GB waere hier so der Einstieg gewesen
- 4 NICs im Server... lass uns mal gucken
2x MGMT/Backup Traffic
2x vMOTION
2x FT (OK nicht im Ess+ drin)
2x SAN
2x LAN
Ok.. davon koennte man im Notfall und wenn man Kompromisbereit ist welche zusammen legen. Aber mit nur 4 Onboard NICs und iSCSI ist das etwas Fehlgeplant und Redundant fuer die Onboard ist nicht vorhanden
- Die X520 2x10GbE SFP+ haetten mit den Server keine 300,- gekostet
- Du hast von HA gesprochen und somit nehme ich an das ihr die Daten replizieren wollt im SAN. Stand heute brauchts da 2 Gruppen. Stand morgen 1 Gruppe und 2 Pools und dann kann man in Echtzeit LUNs (max 32) von einem in den anderen Pool replizieren. Das promoten fuer einen evtl. Failover muss dann noch von Hand gemacht werden
- Du willst RAID10 oder RAID50 machen aber niemals RAID6 und eigentlich auch nicht RAID5
- Wenn die EQLs auf 2 Gruppen verteilt werden dann wuerde ich beide mit dem gleichen RAID Level machen weil dann auch die Performance vergleichbar ist
- Keine Jumboframes... solange sich fuer die reale Workload keine grosse Verbesserung aufzeigt. Die Switche konfiguriert man aber schonmal so und die vSS auch. Nur auf dem VMKs bleibt man dann bei 1500
- Du moechtest mehre LUNs welche je nach Anforderung 1 und 2 TB gross sind

Also entweder sie die Server zu schwach oder das SAN ueberdimensioniert. Aber hier fehlen wie oben schon gesagt hintergruende.

Gruss
Joerg

Ich habe 11 EQL, 7 mit 10GbE, halbes dutzend PC8024F im Haus und betreue auch noch 4 Installation ausser Haus bei meinen Kunden. Die Server haben 2x10GbE (mixed Traffic) oder 4x10GbE (iSCSI getrennt). Bedeutet das ich eine Meinung haben kann

Gruss
Joerg

Erstmal vielen Dank für deine Hinweise, find ich klasse, dass du dir dennoch die Zeit genommen hast!

irix hat geschrieben:Da nichts ueber die Anforderungen an Kapazitaet, IOPS, Bauliche Vorraussetzungen, Planungsphase und Begruendungen fuer Entscheidungen bekannt sind hier nur kurz.

Ich weiss, dass IOPS eine Grundvorraussetzung sind, aber die kennen wir nicht, darum haben wir uns für die große EQL entschieden, wobei sicherlich die kleinere ausreichend gewesen wäre. Schon in Hinblick darauf, dass unsere Geschäftsführung von einer deutlichen Steigerung der Mitarbeiter ausgeht.
Bauliche Vorraussetzung ist gegeben, da wir zwei Serverräume haben die baulich voneinander getrennt sind und redundant angebunden sind per Glas mit 40GBit.
Wir hatten vier Systeme zur Auswahl: Netapp hat uns super gefallen, aber preislich lagen die beim dreifachen wie DELL und die Mehrkosten waren uns die Kosten nicht wert. HP mit Lefthand war auch dabei, da überzeugte uns die Lösung nicht (trotz oder auch wegen dem Netzwerk-RAID). EMC war auch im Hause, die haben sich beraterisch daneben benommen, obwohl sie am günstigsten waren. DELL erfüllte unsere Wünsche und da wir alle Hardware von DELL haben, wissen wir auch hier, dass wir mit dem Partner zufrieden sein können.

irix hat geschrieben:- R710 alter Kram und Nachfolger seit Maerz Lieferbar

Naja, nicht brandneu, das stimmt, wir haben Ende letzten Jahres 5 R710 gekauft und diese jetzt rauswerfen, hielten wir für übertrieben und wollen diese eben erstmal einsetzen.

irix hat geschrieben:- 32GB ist eine unbalanced Konfig und fuer einen virtualiserungs Server eher "zuwenig". 48GB waere hier so der Einstieg gewesen

Was meinst du mit "unbalanced Konfig"? Sicherlich wäre es nicht das Problem, den Server noch um ein wenig RAM zu erweitern, werde ich bei uns im Team mal durchsprechen, aber von meiner Sicht aus, würden wir jetzt erstmal mit 32 GB starten, da am Anfang eh nicht soo viele Maschinen laufen werden und wenn wir sehen wir kommen ans Ende, schieben wir Riegel nach.

irix hat geschrieben:- 4 NICs im Server... lass uns mal gucken
2x MGMT/Backup Traffic
2x vMOTION
2x FT (OK nicht im Ess+ drin)
2x SAN
2x LAN
Ok.. davon koennte man im Notfall und wenn man Kompromisbereit ist welche zusammen legen. Aber mit nur 4 Onboard NICs und iSCSI ist das etwas Fehlgeplant und Redundant fuer die Onboard ist nicht vorhanden

Wir hätten jetzt erstmal den vMotion und SAN-Traffic zusammengelegt, genauso wie MGMT/Backup und LAN - keine gute Idee?
Der Hinweis mit dem redundanten bzgl. einer NIC sehe ich voll und ganz ein und denke da müssen wir wirklich nachlegen. Allerdings werden wir hier dann eher auf 10Gb gehen, kann ich 10Gb und 1Gb problemlos mischen bei VMware oder müssen die Geschwindigkeiten gleich sein?

irix hat geschrieben:- Die X520 2x10GbE SFP+ haetten mit den Server keine 300,- gekostet

Als wir die Server anschafften, hatten wir die Virtualisierung noch nicht im Auge, aber sicherlich können wir die wie oben beschrieben nachrüsten.

irix hat geschrieben:- Du hast von HA gesprochen und somit nehme ich an das ihr die Daten replizieren wollt im SAN. Stand heute brauchts da 2 Gruppen. Stand morgen 1 Gruppe und 2 Pools und dann kann man in Echtzeit LUNs (max 32) von einem in den anderen Pool replizieren. Das promoten fuer einen evtl. Failover muss dann noch von Hand gemacht werden

Wir wollen nicht replizieren, sondern synchron spiegeln (für mich ein Unterschied, da beim spiegeln das Acknowledge ja erst kommt, wenn beide Speichersysteme die Daten haben, wohingegen beim replizieren die vorhandenen Daten ja immer rüberkopiert werden - oder liege ich falsch?). Das spiegeln war eine Grundvorraussetzung für uns und laut DELL ist das Feature jetzt auch da in der brandneuen Firmware. Ebenso war uns wichtig, dass wir nicht alle Daten spiegeln müssen, sondern nur die für uns wichtigen (was bei Lefthand so wohl nicht ging).

irix hat geschrieben:- Du willst RAID10 oder RAID50 machen aber niemals RAID6 und eigentlich auch nicht RAID5

Das mit 5 oder 6 kam von den EMC bzw Netappjungs mit der Aussage, dass man das nur so macht, da bei 6 im Gegensatz zu 5 zwei Platten ausfallen können, bevor Datenverlust droht. Der Großteil unserer Daten sind Freigaben mit Zeichnungen/Images, Officedateien und natürlich auch DBs inkl. Exchange. Wo liegen die Vor-/Nachteile bei RAID 10 bzw 50? Bei RAID 10 habe ich ja die hälfte der Platten als Kapazität und bei RAID 50 die Anzahl der Platten minus eine. Ist das korrekt? RAID 10 wird ja nachgesagt, dass es deutlich schneller ist als 50 - ist das so deutlich oder vernachlässigbar?

irix hat geschrieben:- Wenn die EQLs auf 2 Gruppen verteilt werden dann wuerde ich beide mit dem gleichen RAID Level machen weil dann auch die Performance vergleichbar ist

Das klingt logisch, dass wir auf beiden Seiten die gleichen RAIDs konfigurieren.

irix hat geschrieben:- Keine Jumboframes... solange sich fuer die reale Workload keine grosse Verbesserung aufzeigt. Die Switche konfiguriert man aber schonmal so und die vSS auch. Nur auf dem VMKs bleibt man dann bei 1500

Dachte im SANnetz macht es Sinn mit Jumboframes, darf ich erfahren warum du das nicht tun würdest? Was meinst du mit vss, mir fällt da nur das VolumeShadowCopy ein?

irix hat geschrieben:- Du moechtest mehre LUNs welche je nach Anforderung 1 und 2 TB gross sind

Hier würde mich interessieren warum ich die LUNs 1 oder 2 TB gross machen soll. Wir haben Freigaben, welche heute schon 3,5 TB haben (hauptsächlich Zeichnungen/Images), heisst das ich sollte die trennen oder dann eine LUN machen die größer ist als 1 oder 2 TB. Was passiert wenn ich eine LUN 2 TB gross mache und die Daten darauf kommen an die Grenze, muss ich die Daten dann teilweise auf eine andere verschieben oder vergrössere ich die LUN dann?

irix hat geschrieben:Also entweder sie die Server zu schwach oder das SAN ueberdimensioniert. Aber hier fehlen wie oben schon gesagt hintergruende.

Denke das ist einfach: Nach dem heutigen Stand ist das SAN überdimensioniert, da waren sich alle Anbieter einig, aber wir möchten lieber etwas mehr Geld ausgeben, statt in ein oder zwei Jahren von 0 anfangen zu müssen und alles ersetzen müssen, weil wir ein paar Euro bei der Anschaffung sparten. Die EQL kann ja wunderbar mitwachsen (was auch ein Grund dafür war).

irix hat geschrieben:Ich habe 11 EQL, 7 mit 10GbE, halbes dutzend PC8024F im Haus und betreue auch noch 4 Installation ausser Haus bei meinen Kunden. Die Server haben 2x10GbE (mixed Traffic) oder 4x10GbE (iSCSI getrennt). Bedeutet das ich eine Meinung haben kann

Ich mache die Wertbarkeit der Aussagen nicht anhand der größe der Umgebung fest, auch jemand mit nur einer EQL und deutlicher kleineren Ausstattung, kann uns sicherlich Tipps nennen, welche uns weiterhelfen können. Aber dennoch schöne Umgebung!

Moin,

die R710, ist ja Intel Nehalem, hat pro CPU 3 Speicherkanaele welche nach draussen gefuehrt sind und mit bis zu 1333Mhz angefahren werden koennen. Das heist man ist in dem Raster von 12, 24, 48 usw. und das pro CPU wenn man die groesstmoegliche Speicherbandbreite erreichen moechte.

Deine 32GB deuten also auf eine Unbalanced Config hin. Oder aber ihr habt. Adv. ECC aktiviert und da wird dann ein Kanal fuer extra. Parity hergenommen. Ist aber sehr selten das einer sowas macht bzw. man koennte ja auch Memory Mirroring aktiveren und das bedeutet natuerlich das man da bei 4,8,16 usw. bleibt.

Nur um es deutlich zusagen. Die EQL hat keine syncrone Spiegelung. Die ist, mittlerweile auch offiziell, mit der 6.0 Firmware angekuendigt welche noch im Laufe des Jahres erscheinen soll. Auf die Frage ob das ein transparenter Failover ist haengt die Anwort davon ab wen man fragt:
Vertreib: Ja , wir haben dann den transparenten Failover aus Sicht des Anwendungsserver
Technik: Hmm... das promoten des (sek. ) Spiegels muss manuell erfolgen und somit ist eine Unterbrechung des Services vorhanden. Failback gibts auch keinen.

Ob sich das mittelfristig mal in eine Automatik umwandelt haengt davon ab ob man es schafft ein Quorum zu realisieren um einen Splitbrain auszuschliessen. Es hat schon seinen Grund warum es bei Lefthand einen FOM gibt

Was die syncrone Replizierung angeht:
- Dank ASM durchaus die Moeglichkeit dies Crash Consistent hinzubekommen
- Replizerungs Storage braucht nicht unbedingt gleiches Tier sein
- Ein Fehler wie "Ups ich hab da was geloescht" ist nicht automatisch gleich repliziert weil es ja Zeitversetzt stattfindet

Syncrone Replizierung:
- "Keine" Konsistenz
- RPO natuerlich am kleinsten da ja parallel geschrieben wird

Da heist heute koennt ihr das noch garnicht realiseren aber zumind. die Umgebung vorbereiten. Da die Spiegelung auf Volumebasis stattfindet und du nicht alles Spieglen willst ist deine Frage ob du ein grosses machen solltest hinfaellig.

In manchen Projekten lief es folgender Massen:
- Asnc. EQL Replizierung fuer soviel wie Moeglich
- Da wo notwendig sync. Spiegelung auf Applikationsebene sprich Cluster usw.

Aber die Kundenanforderungen sind sehr verschieden und nicht jedes Produkt erfuellt jede Anforderung.

Da die EQLs nur einen RAID Level pro Array unterstuetzen bedeutet das, Ausnahme mal ausser Acht gelassen, bei einem RAID50 gehen 4 Disk "verloren". Aber euch verbleiben dann 20 Stck a 550GB und das ist ja schon einmal eine Hausnummer.

Ohne nun alles zukennen waere mein Vorschlag
1 Gruppe: Group01
3 Pools: Default (bleibt leer), RZ1_PS6110_1, RZ2_PS6110_1
6-8 Volumes: grp01-02-vmfs-l, grp01-02-vmfs-l, grp01-03-fileserver,

Namen koennen jederzeit geaendert werden. Mal heissen die Pools auch wir der Raidlevel "RAID50" oder Platinum, Gold, Silber usw. Da im Pool unterschiedliche Array und somit Raidlevel sein koennen aendern viele Kunden spaeter das mal wenn Erweitert wird.
Jede EQL tritt dieser Gruppe und genau einem Pool bei. Die Volumes verteilst du dann auf beide Seiten bzw 1/3 und 2/3 und deine auserwaehlten Volumes werden dann spaeter mal repliziert.

Das mischen von vMotion und SAN Traffic ist eine Todsuende. Ihr kommt ohne eine weitere Quadport 1GbE definitiv nicht aus.
Onboad:
1. MGMT 1/2
2. vMotion 1/2
3. LAN 1/2
4. ISCSI 1/2 (SAN und iSCSI for Guest)

Onboad:
1. MGMT 2/2
2. vMotion 2/2
3. LAN 2/2
4. ISCSI 2/2 (SAN und iSCSI for Guest)

Wenn man 3x ISCSI haben moechte wuerde man MGMT und vMotion zusammen legen. Die Verwendung von VLANs ist ueberall angeraten. Deine Frage zu kann man 10GbE (SAN) und 1GbE (MGMT,LAN,vMotion) zusammen machen. Ja das waere kein Problem

Da ihr aber nun massiv in 10Gbe Ports investiert habt waere meine Empfehlung jeweils 2 2x10GbE pro Host nachzukaufen. Die 10GbE laden gerade zu dazu ein dort auch LAN und allen anderen ESX Traffic mit drueber laufen zulassen. Die EQL haben DCB (DataCenterBridging) und euere PC8024 koennen das auch.

Zur groesse der LUNs:
Bis vor kurzem konnte ein ESX max. nur 2TB -512 Bytes grosse LUNs. Wer darueber hinauswollte
- iSCSI direkt into Guest
- Versuchen mittels DSF (generelll anzuraten!) es aufzuteilen und virtuell wieder zubinden
- NAS Kopf wie FS7500

Was die Jumboframes angeht.... pauschal bringen sie nicht immer eine Verbesserung. Somit der Ratschlag zugucken ob sich was aendern und wenn nicht sie wegzulassen. Die EQL koennen Jumbos und die MTU steht auch auf 9000 per Default.

Ratschlag:
Noch nicht gleich allen Speicher provisionieren. Solange es geht einen Bereich zurueckhalten der die gleiche Groesse eurer groessten LUN hat. Wer mal eine ein Recovery von Daten starten muss und moechte Zeitgleich Reparaturversuche am Patienten vornehmen freud sich ueber die Reserve. Die EQL haetten eh gerne ein paar GB Luft.


Nur das du micht richtig verstehst. Ich bin offiziell neidisch auf deine PS6100XV . Hier sind es noch die Vorgaenger und die letzten Erweiterungen waren mit 4100er.

Gruss
Joerg

So, ein SAN läuft schonmal. Habe dieses und den ESXi hiernach eingerichtet: Link. Passt das?

Nun tauchten gleich mal die nächsten Fragen auf:

1.) Beim anlegen eines Volumes wird mir immer vorgeschlagen, dass ich 100% der Größe nochmals für Snapshots anlege. Benötige ich hier wirklich so viel? Wie ist das Best Practise?
2.) Wir haben uns überlegt wir erstellen jeweils ein Volume für die VMs selbst, Daten des Fileserver, Exchange, SQL-DBs. Ist das so sinnvoll bzw was sollte ich beachten bei der Aufteilung? Kleinere Dinge wie WSUS, FTP-Server würden wir mit in den Datenspeicher der eigentlichen VMs ablegen oder macht es mehr Sinn hier jeweils ein eigenes Volume auf dem SAN zu erstellen?
3.) Ebenfalls haben wir uns überlegt, dass wir bezüglich der Grö0e für die Volumes die jetzt benötigte Größe nehmen und 20% drauf schlagen, bei Bedarf vergrößern wir das Volume jeweils. Macht das so Sinn bzw kann ich problemlos die Volumes nachher vergrößern?

Bevor ich mit dem System produktiv gehe, möchte ich noch meine Freischaltung für die Supportseite abwarten, denn vorher bekomme ich leider keine neue Firmware.

Danke schonmal für eure Antworten.

Nun,
eine Snapshotreserve wird nur benoetigt wenn auf dem SAN Snapshots erstellt werden soll. Ob du alles oder einen Teil ueber VMDKs oder ueber iSCSI direkt in den Guest machen moechtest haengt davon ab ob HIT ME dort zum Einsatz kommen soll.

Hier liegt 99% alles in Form einer VM vor. Viele Teilen sich einen Datastore und mittels 3rd. Party wird ein Backup gemacht und auch Repliziert. Sofern die Vorraussetzungen da sind wird auch ueber das SAN Repliziert und es kommt dann HIT VE zum Einsatz.

Du hast bis dato nicht verraten ob du eine oder zwei Gruppen gemacht hast. Da du aber die sync. Replizierung nutzen moechtes sofern sie denn mal da ist must du eigent eine Gruppe mit 2 Pools machen.

Die Account freischaltet dauert 1-2 Tage immer und dann bitte nicht vergessen beide Geraete zu registrieren. Die FW 6.0 gibt es als EPA (Early Production Access) aber ich wuerde da noch etwas warten.

Gruss
Joerg