VMware-Forum

Hallo zusammen,

für ein anstehendes Virtualiserungsprojekt sind wir gerade auf der Suche, nach einem geeigneten SAN, mit welchem wir eine gespiegelte Storage Infrastruktur realisieren können.
Das SAN soll 2 bzw. 3 ESXi5 Server mit jeweils 2 Xeon E2650 und 128 GB RAM versorgen wobei das ganze ca. 5000 IOPS und 260MB/s an Durchsatz bewältigen sollte.

Auf diesen ESXi-Servern sollen ca. 20 VM´s laufen, wobei hier von Exchange 2003 über SQL 2005/SQL2012, Windows Server 2012 und diversen Ubuntu VM´s alles dabei ist.
Es soll hiermit auch ein Fileserver mit ca. 6TB realisiert werden.

Wir haben jetzt auch schon mehrere Angebote bekommen:

- HP P4500 mit 24x600GB 10k SAS
- Dell Equallogic PS4110X mit 24x900GB 10k SAS
- Hitachi HUS 110 mit 24x600GB 10k SAS in Verbindung mit Datacore SanSymphony
- EMC VNX5300

Wobei alle iSCSI bevorzugen, bis auf Hitachi/Datacore die auf FC setzen.

Da wir schon eine 10G Ethernet Struktur haben, würde ich ungerne noch in FC investieren.
Allerdings gefällt mir auf der anderen Seite, das Hitachi/Datacore Konzept sehr gut.

Es fehlen mir hier doch die Argumente, wie ich diesen MehrInvest für Datacore SanSymphony und FC Infrastruktur rechtfertigen soll.(Performance/Herstellerunabhängigkeit ?)


Eventuell war der ein oder andere von euch auch schon in dieser Situation und kann mir mit von seinen Erfahrungen berichten.

Herzlichen Dank schon mal vorab für eure konstruktiven Beiträge.

Gruß
eazy_isi

Du hast nicht nur unterschiedliche Protokolle für blockbasierten Storage, sondern auch unterschiedliche Konzepte bei den Speichersystemen. Die HP P4500 ist z.B. gridbasiert, hier skaliert die Lösung mit der Anzahl der Nodes hinsichtlich Kapazität und IOPS. Das gleiche gilt für die DELL EQL. DataCore SANsymphony-V setzt auf Storagevirtualisierung, stellt sich aber konzeptionell wie ein strechted dual-node System dar. Die EMC VNX ist eine Kombination von CLARiiON und Celerra (mit allen Vor- und Nachteilen der zugrundeliegenden Systeme), alles verpackt unter einer Oberfläche.

Für FC spricht schlicht und ergreifend die Performance. Lass dir aber gesagt sein: Die HP P4000, bzw. die Nachfolger (StoreVirtual Hardware 4330) bietet auch Fibre-Channel als Frontend-Technologie (Backend geht weiterhin über iSCSI).

Wie kommst du auf die 5000 IOPS und 260 MB/s? Gelten die 5000 IOPS für Frontend oder Backend? Zudem passt das nicht zu den 260 MB/s. Ist das ein Spitzenwert, den das System erreichen soll? Bekanntlich ist: MB/s=IOPSxIO Size.

Wie kommst du auf die 5000 IOPS und 260 MB/s? Gelten die 5000 IOPS für Frontend oder Backend? Zudem passt das nicht zu den 260 MB/s. Ist das ein Spitzenwert, den das System erreichen soll? Bekanntlich ist: MB/s=IOPSxIO Size.

Hallo Bla!zilla,

Die Werte beruhen auf einer Dell Dpack Analyse.

Wenn ich deine Aussage richtig interpretiere, würdest du aus Performancegründen eher richtig FC tendieren ?

Sind die 5000 IOPS Front- oder Backend-IOPS? Die 260 MB/s waren ein Maximalwert? IOPS waren der Maximalwert? Was brauchst du über die nächsten Jahre als Puffer? Welches Verhältnis Read/ Write hast du?

bla!zilla hat geschrieben:Sind die 5000 IOPS Front- oder Backend-IOPS? Die 260 MB/s waren ein Maximalwert? IOPS waren der Maximalwert? Was brauchst du über die nächsten Jahre als Puffer? Welches Verhältnis Read/ Write hast du?

Die 5000 IOPS sind Backend-IOPS.
Die 260 MB/s sowie ca. 4200 IOPS sind wie vermutet Maximalwerte, die während des Backups der vorhandenen VMS per ghettoscript auf ein per iSCSI angebundenes NAS entstehen.
Das Read/Write Verhältnis ist 65/35
Ansonsten dümpelt das ganze eher vor sich hin


[/img]http://www.flickr.com/photos/92800092@N07/8435630210/in/photostream[img]

Puffer ? gute Frage[/img]

Backend-IOPS sind die des RAID Levels. Wenn ich deine Grafiken sehe, dann halte ich die 5000 IOPS für Frontend-IOPS.

Wenn ich die 5000 IOPS als Frontend-IOPS, RAID 1+0 (z.B. HP StoreVirtual nRAID 1), 65/35 für Read/ Write und 8k IOs als durchschnittliche IO Größe, dann brauchst du ca. 50 10k SAS Platten. Ist natürlich nur grob gepeilt, aber so aus dem Bauch heraus: Dein Sizing mit 24 Platten passt nicht.

Der Einsatz von ghettovcb ist aber ein teurer Spass. Die Veeams/vRangers dieser Welt welche mit CBT umgehen bzw. Incremental/Differential beherschen wuerden weniger IOPS brauchen bzw. bei weniger Leistung es doch in schnellerer Zeit schaffen da weniger Daten gelesen werden muessen.

Ich habe hier zwar 2 Fileserver mit 5.5TB realisiert mit VMDKs aber wenn ich frueher gewusst haette das es mal soviel wird (12 Platten aktuell) dann haette ich es anders geloest. Sprich iSCSI direkt in den Gast bzw. nen SAN was Fileserver spielt.

Ansonsten bin ich mit meinen ganzen EQLs hier sehr zufrieden und auch die Kunden . Bei nur 2-3 Hosts wuerde sich evtl. auch eine SAS loesung (die haben nun SSD Caching oder nen Dynamic Disk Pool) anbieten.

Da aber schon 10GbE vorhanden ist und wenn die Anzahl der Ports reicht, die Switche auch SCSI geeignet sind dann muesste ein FC Storage schon viele Vorteile bieten um mich da zu ueberzeugen.

Gruss
Joerg

10 GbE alleine machen keine taugliche Infrastruktur. Die geforderten Leistungsgrößen liefern iSCSI und FC bei 10 GbE problemlos. Aber auch 10 GbE kann man vor die Wand fahren. FC ist da verzeihlicher was Fehler in der Netzwerktopologie, schlechte Komponenten etc. angeht.

@ Irix

ghettovcb wird in diesem Zug durch "Veeam Essentials Enterprise" abgelößt, damit sollte das ganze ja dann billger werden

@ bla!zilla
Ich denke unsere Netzwerktopologie/Kompenenten sollte passen.

Es stehen pro RZ jeweils 1 Cisco Nexus C5548UP +2x Cisco Nexus C2248TP zur Verfügung
wobei die RZ´s mit 2x 10GB verbunden sind, auch die 4 FEX'e sind mit 10GB angebunden.

Wir sind Dell Premierpartner und Datacore Gold Partner und ich kann die sowohl die EQL als eine Datacore lösung (ich hoffe wir reden über eine gespiegelte installation) empfehlen. Beide systeme haben vor- und nachteile die man genauer mit den anforderungen abgleichen müßte...

Hallo,

da wir vor ähnlicher Herausforderungen einer SAN Anschaffung stehen, habe ich ähnliche Überlegungen.

Meine Frage zielt gezielt auf Sie Herr Mertens:

Welche Vor- und Nachteile haben die Dell EQL vs SANSymphony (auf 2 Servern mit 2 Plattenbereichen gespiegelt)?

Bei den Informationen, die ich zusammentragen konnte, scheint die Dell leichter in Betrieb zu gehen, leichter/weniger Wartungsaufwand zu haben... bei Replacement/Live Time Cycle auch weniger Zeitaufwand Sie zu erweitern oder auszutauschen. Die Datacore Lösung gefällt mir auch gut, habe nur ein wenig Bauchschmerzen bei folgenden Parametern:

-Windows im Hintergrund (sind die Datacore Treiber eigentlich mittlerweile Windows zertifiziert?)
-Update Aufwand erfordert evtl. Spezialisten, da eigene IT nicht so einfach umsetzen kann wie mit der EQL
-Initialkonfig einmal aufwändiger als die EQL

Freue mich über Feedback, sollte ich in einem der Punkte falsch liegen, bitte korrigieren Sie mich.

Vielen Dank.
MFG

Hallo bennyturbo,

zur Dell EQL Lösung kann ich Dir keine nähreren Infos geben, da ich diese Lösung nicht kenne.

Wir betreiben allerdings schon seit 6 Jahren eine relativ große gespiegelte Datacore 1st tier (Produktion) Umgebung mit 60TB Netto pro Seite. Darüber hinaus noch eine lineare 2nd tier (Backup, DFSR Target) Umgebung mit 110TB. Anfangs hatten wir unter SANmelody 2.x schon das ein oder andere Problem gehabt, aber mittlerweile seit über 4 Jahren keinen einzigen Ausfall, sprich 100% Verfügbarkeit. Das ganze läuft auf Dell Hardware. Zurzeit setzen wir R710 als Server und MD1000 als HDD Shelfs ein. Das Ganze ist über SAS im Backend miteinander verbunden. Im Frontend verwenden wir 8Gbit Qlogic FC HBAs.

Zu deinen Bauchschmerzen:
Datacore war schon immer für Windows zertifiziert, weil das das einzige OS ist, das Datacore als Storagehypervisor Plattform verwendet. Unter Linux, Mac oder so ist die Lösung nicht zu betreiben. Was Datacore noch macht ist eine Zertifizierung der HBAs bzw. iSCSI Controller. Hier musst Du ein Modell der Datacore HCL wählen. Die Liste ist im HBA Umfeld auf jeden Fall ausreichend lang, sodass jeder was passendes finden sollte.

Der reine Datacore Update Aufwand ist meinstens mehr als easy und erfordert keine Spezis. Normalerweise läuft es in einer gespiegleten Umgebung so ab: Datacore Dienst auf einem Node stoppen - Update starten - 3 x weiter, 3 x ok klicken - Reboot - Datacore Dienst starten. Dann wartest Du ab bis alle vDisks wieder gespieglet sind und führst die Steps auf dem zweiten Node durch. Wie groß der Update Aufwand der darunterligenden Hardware ist, ist natürlich schwer vom verwendeten Hersteller abhängig.

Die Initialkonfig ist auch nicht besonders schwer. Allerdings darf man sie nur persönlich durchführen, wenn man DCIE ist. Bist Du kein DCIE und nimmst die Umgebung trotzdem in Betrieb, dann betreibst Du eine nicht supportete Umgebung und erhälst im Fehlerfall keinen Support von Datacore. Man kann aber einen 3 Tages Kurs absolvieren, den ich Dir sowieso empfehlen würde, wenn Du eine Datacore Umgebung betreibst, und machst anschließend den DCIE Test. Der ist auch ziemlich simpel.

Zusammengefasst: Hättest Du mich vor 4-5 Jahren zu meiner Datacore Meinung gefragt, dann hätte ich davon abgeraten. Inzwischen kann ich Sie eigentlich wärmstens empfehlen. Natürlich kann es aber auch sein, dass ihr Anforderungen habt, die eine Datacore Lösung technisch einfach nicht realisieren kann. Dann muss man sich eine Alternative suchen.

Gruß,
Nick

BennyTurbo hat geschrieben:Hallo,

da wir vor ähnlicher Herausforderungen einer SAN Anschaffung stehen, habe ich ähnliche Überlegungen.

Meine Frage zielt gezielt auf Sie Herr Mertens:

Welche Vor- und Nachteile haben die Dell EQL vs SANSymphony (auf 2 Servern mit 2 Plattenbereichen gespiegelt)?

Bei den Informationen, die ich zusammentragen konnte, scheint die Dell leichter in Betrieb zu gehen, leichter/weniger Wartungsaufwand zu haben... bei Replacement/Live Time Cycle auch weniger Zeitaufwand Sie zu erweitern oder auszutauschen. Die Datacore Lösung gefällt mir auch gut, habe nur ein wenig Bauchschmerzen bei folgenden Parametern:

-Windows im Hintergrund (sind die Datacore Treiber eigentlich mittlerweile Windows zertifiziert?)
-Update Aufwand erfordert evtl. Spezialisten, da eigene IT nicht so einfach umsetzen kann wie mit der EQL
-Initialkonfig einmal aufwändiger als die EQL

Freue mich über Feedback, sollte ich in einem der Punkte falsch liegen, bitte korrigieren Sie mich.

Vielen Dank.
MFG

@BennyTurbo:

Entschuldigung für die späte Rückmeldung:

Grundsätzlich sind beide Systeme (EQL und DataCore) extrem skalierbar (wir betreuen DataCore und EQL Systeme von 3 - 90 TB) und bringen von Hause aus einen sehr großen Funktionsumfang mit (besonders die EQL), welcher beim Wettbewerb teilweise seperat zu Lizensieren ist.

Ohne hier jetzt einen Tiefgang in die Storagewelt zu nehmen einige Fakten zu den Systemen:

Equallogic:

- iSCSI Only
- Keine weiteren Features zu Lizensieren
- Plug&Play Installation. Ist das Netzwerk vorbereitet läuft eine EQL in 5 Min.
- Jedes System bringt zwei Controller und Platten mit
- Es gibt keine Disk Shelfs
- Jedes System ist nur vollbestückt mit einem Typ von Platten zu beziehen (Ausnahme:PS 6110XS)
- Bis zu 16 EQLs (max 2x PS4000er) in einer Gruppe. Eine Gruppe erscheint als ein Array nach außen
- Da jede EQL eigene Controller mitbringt skaliert das System sehr gut. Interner Loadbalancer über alle EQLs in einer Gruppe
- Sehr gute Integration in VMware und Microsoft (AutoSnapShot Manager)
- Sehr gutes Monitoring (SAN HQ)
- Replikation zwischen zwei Gruppen
- Syncroner Spiegel innerhalb einer Gruppe (aber zwischen zwei Membern)
- Kein Transparenter Automatischer Failover


DataCore:

- iSCSI, FC, FCoE (FCoE Beschränkt)
- Installation und Planung Aufwendig -> Mit Windows Installation und Abnahme min. 2 Tage
- Komplett Hardwareunabhägig. Windows als OS muß laufen und die als Storage zu nutzende Platten müssen von Windows erkannt werden (theoretisch ein USB Stick). Einzige Beschränkung sind FC-HBAs. Empfehlung QLogic.
- Windows im Hintergrund: Wenn die Hardware sauber ist und das Windows richtig installiert / angepasst gibt es hier keine Probleme. Ich hatte in den letzten drei Jahren einen Bluescreen eines DataCore Servers aufgrund defekten RAMs. (Syncroner Spiegel -> Keine Downtime)
- Die DataCore Treiber sind nur signiert, aber nicht WHQL Zertifiziert
- Installation muß!! durch einen DCIE Durchgeführt werden. Sonst kein Support
- Replikation zu einen weiteren DataCore Knoten
- Sycroner Spielel
- Neben dem IBM SVC bietet DataCore SYM-V auf dem Markt einen echten automatischen transparenten Failover an. Alle anderen Lösungen erfordern AFAIK einen händischen / gescriptenen Eingriff und ein Rescan / Neustart am Application Server
- Storage Tiering (wir haben die ersten Projekte mit FusionIO Karten laufen und die Kunden (und auch wir) sich sehr positiv Überrascht)



Was das Thema Replacement und Service betrifft:
Ich bekomme das was ich Kaufe. Wir sind Dell Premier Partner und bei unseren Kunden werden defekte Festplatten innerhalb von 4h Ausgetauscht. (Wenn 4h Vor Ort Gekauft). Egal ob Dell PowerEdge/PowerVault mit DataCore oder Dell Equallogic.

Was die Inbetriebnahme betrifft:
Ja, eine EQL ist deutlich schneller in Betrieb. Bei DataCore ist viel Vor- und Nacharbeit (Site Planning Checklist und Functional Test Plan) erforderlich.

Was die Updates betrifft:
Der Updatezyklus ist bei DataCore deutlich kleiner, was aber hauptsächlich an den Funktionen liegt die mit jedem Update kommen. Kann man auf die neuen Funktionen verzichten ist der Updatezyklus 1-2/Jahr. Bei der EQL kommen neue Funktionen dagegen nur in Major Releases -> ~ 1/Jahr. Update ist bei beiden Systemen aber eine sache von 1-2 Stunden (max)

Zusammenfassung:

Ich kann beide Systeme absolut empfehlen:

Möchte ich einen guten Storage, der einfach zu Administrieren sein soll und eine sehr Hohe Integration in VMware bieten ->
Dell Equallogic mit 10Gb iSCSI

Gibt es Gründe für FC und oder Spiegelung mit Transparenten Failover sowie die Unabhägigkeit eines Hardwareherstellers -> DataCore

Ich hoffe ich konnte Helfen

Gibt dem was Marcel gesagt hat nicht viel hinzu zufuegen nur 2 kleine Korrekturen

Jedes System ist nur vollbestückt mit einem Typ von Platten zu beziehen (Ausnahme:PS 6110XS)

Man hat die Auswahl zwischen 50 oder 100% Bestueckung wobei ich noch keinen Kunden hatte der nur eine halbbestueckte EQL genommen hat. Alle Hybrid Modelle, und da gibts mehr als nur die PS6110XS, haben natuerlich 2 unterschiedliche Typen drin. Einmal die SSDs und einmal gleichertyp HDD

- Syncroner Spiegel innerhalb einer Gruppe (aber zwischen zwei Membern)

Zwischen 2 Pools innerhalb einer Gruppe.

Wir haben sie jetzt exakt 5 Jahre im Einsatz und es ist echt nichts schlechtes zusagen. 12 Stueck haben wir hier im Haus und 7 bei Kunden. Letztere haben natuerlich nicht den direkten Kontakt aber koennen 90% der taeglichen Arbeiten selber machen wobei man sagen muss das es es deploeyed und Storage zugewiesen ist es nichts zumachen gibt.

Was den Transparenten Failover angeht welche EQL noch nicht hat... irgendwann moechte ich den aber haben . Wie sie das dann mit dem dritten, sprich Schiedsrichter machen moechte ich dann sehen. Das was bei Lefthand quasi der FOM ist.

Gruss
Joerg

Korrekt. Eine Halbbestückte macht Kaufmännisch keinen sinn.

Da ein Storage Pool immer min. eine EQL ist haben wir beide Recht...

Vielen Dank für das Feedback. Das hilft mir sehr weiter.

Ich habe noch eine Frage:

- Kein Transparenter Automatischer Failover

Was genau heisst das bei der EQL? Laut Dell ist doch das Active/Passive Prinzip der Controller so ausgelegt, dass wenn ein Controller stirbt der andere sofort übernimmt, bereits die Daten gespiegelt hat (Cache) und die VMware Umgebung davon nichts mitbekommt.

Oder meinen Sie das man nicht 2 verschiedene Rechenzentren hat, die synchron laufen und autmatisch Failover machen, wenn eins ausfällt?

BennyTurbo hat geschrieben:Vielen Dank für das Feedback. Das hilft mir sehr weiter.

Ich habe noch eine Frage:

- Kein Transparenter Automatischer Failover

Was genau heisst das bei der EQL? Laut Dell ist doch das Active/Passive Prinzip der Controller so ausgelegt, dass wenn ein Controller stirbt der andere sofort übernimmt, bereits die Daten gespiegelt hat (Cache) und die VMware Umgebung davon nichts mitbekommt.

Korrekt. Das war aber nicht gemeint.
Damit man der EQL auch nicht Unrecht tut der Hinweis das es ein Active/Standby ist. Im Betrieb arbeitet der Secondary Controller mit was IO und Cache angeht und einzig sein Netzwerk ist deaktiviert. In der neuen Modellreihe hat man die Portanzahlen weg optimiert und die Controller koennen einen Vertikalen Portfailover machen. Sprich Controller 0 ist aktiv.... schickt die Daten aber ueber Controller 1 weil ersterer kein Netz mehr hat (pSwitch kaputt z.B).

Oder meinen Sie das man nicht 2 verschiedene Rechenzentren hat, die synchron laufen und autmatisch Failover machen, wenn eins ausfällt?

Das war gemeint. EQL hat ihr Feature was das spiegeln angeht "SyncRep" genannt und laesst sich mit 2 Clicks einrichten. Bis dato noch nichts negatives bemerkt.

Gruss
Joerg

Vielen Dank. Dann spricht wohl bei uns alles für die EQL ... laut Performance Messungen benötigt die VMware Umgebung bei 95% ca. 650 IOPS und bei 99% knapp 1000 IOPS.... Peaks gab es nur wenn Veeam Backup läuft max 2100 IOPS... Um die nächsten 5 Jahre auf der sicheren Seite zu sein tendieren wir nun zur PS4100X mit 24x 300 GB SAS 10k in RAID50... das sollte laut Dell bei ca. 2400 IOPS liegen (85/15 Read/Write).

Falls jemand hier noch einen Optimierungsvorschlag hat, nur her damit Theoretisch würden auch 12x 600 GB reichen aber das macht ja wenig Sinn aus finanzieller Sicht die halbe Leistung für nahezu den gleichen Preis zu kaufen.... der Speicherplatz reicht für die nächsten 5 Jahre aus.

Doe 85/ 15 Read/ Write sind meiner Erfahrung nach Unrealistisch. Realisitischer ist 60/40.

Hi,

das sind die Werte der 24h Messung vom Dell DPack Tool....
Sind diese nicht zuverlässig?

Eine Messung über 24 Stunden ist allgemein nicht aussagekräftig.

Ich habe 3x verschiedene Szenarien gemessen, vielleicht kommt der hohe Leseanteil durch das Veeam Backup zustande, was täglich 2 Jobs durchläuft und dadurch den Tagesbetrieb verfälscht?

Mit sehr hoher Wahrscheinlichkeit.

Das DPAC hat einen "/extended" Schalter und dann laeuft auch laenger als 24h. Wir haben tagsueber 50/50 bzw. 60/40 wie von bla!zilla gesagt wobei wir tagsueber auch schchon eine vRanger Replikation haben. Abends kommen dann die vRanger Backups und SQL Dumps usw. hinzu was das Bild dann Richtung 90/10 bringt.

Ergo.... genau hingucken. Wer zyklische Berechnungslaeufe bzw. Monats und Quartalsabschluesse hat der Tut sich keinen gefallen mal so mitten in der Woche nur eine kurze Analyse zumachen.

Wie man dann damit umgeht und ob das System auch die Spitzen abfangen muss steht auf einem anderen Blatt.

Gruss
Joerg

Danke für die Info. Werde nochmal eine Messung im Monatsabschluss anstossen und dann nur den Tagesbetrieb.

Wenn ich von 85/15 auf 60/40 komme verschlechtert sich ja die Iops Leistung, was dann auf jeden Fall für 24 Platten spricht und nicht für 12... Dann bin ich so oder so auf der sicheren Seite.