Sizing und Design - Eure Meinung

[ThorstenRay]

Hallo,

nach einem Arbeitsplatzwechsel arbeite ich nun seit letztem September ohne meine VMware Umgebung (leider).
Mein derzeitiger Arbeitgeber nutzt Xen und HyperV jedoch nur als 2 Knoten-Cluster
Demzufolgen haben wir sehr viel Hardware in unseren RZ.

Bis letzten September habe ich mit vSphere 4.1 und 5 gearbeitet (Enterprise Lizenzen)
Mehrere Host's, Hitachi Storage darunter...fertig....lief alles Wunderbar.
(1 * 3 Hosts je 128 GB Ram mit ca. 50 VM's, und 2 Hosts je 96 GB RAM und ca. 25 VM's)

Ich wurde jetzt beauftragt, jetzt mal ein Grob-Entwurf vorzulegen um ggfs. unsere VM's zukünftig auf vmware laufen zu lassen (mein Wunsch).

Nur in dieser Größenordnung habe ich nur wenig Erfahrung.

Ich schreibe jetzt mal hier mein Vorschlag und bin gespannt auf Eure Meinung:

Ich würde gerne unsere Umgebung konsolidieren und zwar mit:

6 * DELL PowerEdge R720
512 GB RAM pro Host
2 * Intel Xeon E5-2660 2,20 GHz 8 Core pro Host
2 * 146 GB SAS für System
2 * FC DualPort HBA's 8 GBit/s pro Host
8 * 1 GBit/s Ethernet pro Host (2 fürs Management)
Optional DualPort 10 GBit/s Ethernet pro Host
Redundante Netzteile eh klar..

Als Version würde ich die Enterprise bzw. die Enterprise Plus wählen.
Gedacht wäre es das ganze auf beide vorhandenen Rechenzentren zu verteilen.
Sprich 3 Hosts je RZ.

Die Storageumgebung steht noch nicht ganz fest.
Zur Auswahl stehen zur Zeit noch:

- DataCore mit einer Hitachi HUS 150
- EMC VNX5500 mit VPLEX
- NetApp FAS3250 MetroCluster

Welches der drei SAN Umgebungen wird, weiß ich selber noch nicht.

Wie findet Ihr dieses Konzept?

Hat jemand vielleicht Erfahrung wieviele VM's ich auf dieser Umgebung laufen lassen könnte (vorwiegen Windows Server 2003, mehrheitlich 2008 R2, von 2 GB bis 16 GB RAM)...

Würde mich über Rückmeldungen freuen....

Viele Grüße
Thorsten

[irix]

Moin Thorsten,
ein paar Fragen:
- Distanz zwischen den beiden RZs ist wie gross und wie ist die Verbindung?
- Asynchron, Synchron und bei letzterem Automatischer Transparenter Failover?
- FC Umgebung schon vorhanden oder soll/muss neu?
- Falls ja siehts ja nach einem Stretched Cluster und da ist die VMware HCL was zertifizierte Umgebungen ausschaut extrem uebersichtlich. Funktioneren tun natuerlich eine Vielzahl von Loesungen und sind auch schon laenger im Einsatz

Wie die Wunschliste ist kann ich mir denken . Die Frage ob die Anforderungen und die Realisierungskosten dann im Einklang stehen dann eine andere.

Was die 512GB angehen.... bedingt Verwending von 32GB Modulen. Unsere R720 mit 8C haben 16x16GB = 256GB. Bei vielen kleinen VMs trifft man vorher einen anderen Bottleneck und die "fluffigkeit" laesst spuerbar nach und somit ist ein "uebertriebender" RAM Ausbau unter umstaenden nicht sinnvoll. Sind es aber eher weniger VMs welche nur viel RAM benoetigen sieht es anders aus.

Ich habe Kunden mit einer HDS HUS+BlueARC und auch NetApp FAS MetroCluster. Ganz im Suedosten auch einen gluecklichen HP P4500 Multisite Cluster wobei wie da an der Hardware keine Aktien haben.

Ansonsten sind so Stichworte:
- vSphere VPP und Accelerator KIT
- vSphere FT fuer (4) vSMP ist im Anflug
-Wenn man 10GbE geht die Frage warum dann nicht auch fuer das Storage und NFS/iSCS. Das FCoE lass ich mal aus weil, ob nun gut oder schlecht, es sich am Markt nicht durchgesetzt hat
- Die Dells haben redundante SD Karten und somit kann Localstorage und RAID Controller entfallen

Gruss
Joerg

[ThorstenRay]

Hallo Joerg,

erst mal vielen Dank für die schnelle Antwort.
Ich versuch mal die Antwort recht kurz zu fassen.
Unsere beiden Rechenzentren sind bereits gespiegelt. Die FC-Infrastrukru ist bereits
vorhanden und wird teilweise im Zuge der SAN Migration getauscht.
Wir fannge also im Bereich SAN nicht gerade bei Null an - das hatte ich vorhin vergessen zu sagen.

Derzeit nutzen wir DataCore mit einem DELL Storage drunter.
Das läuft jetzt ende des Jahres aus der Wartung - daher gerade das Spiel mit den drei möglichen Nachfolgern für unser SAN.

Ich bin natürlich auch gleich auf den Zug aufgesprungen und hab das Thema Serverkonsolidierung mit vmWare angesprochen und von den vielen Vorzügen erzählt.

Primär geht es darum, wieviel Hardware wir benötigen um die derzeitige Umgebung auf einer neuen vmware Plattform abzubilden. (Sukzzesive Migartion).

Das Thema SAN wird daher gesondert behandelt und kommt so oder so - unabhängig ob vmware kommen wird oder auch nicht (hoffe aber schon)

Habe daher nochmals geschaut.
Wir gehen derzeit von ca. 170 - 180 vm's aus.
Diese haben einen sehr unterschiedlichen Bedarf an Arbeitsspeicher - von einem GB bis durchschnittlich 4 GB - hin zu ein paar wenigen SAP Maschinen die wesentlich mehr haben (eine hat 64 GB RAM).
Es laufen auch diverse SQL Server und auch Oracle DB Maschinen als VM's,
Die SAP Maschinen haben alle eine DB2 Datenbank drunter....

Wie würde eine sinnvolle Hardwareaustattung denn aussehen?
Mit natürlich Luft nach oben für weitere Server.....

Viele Grüße
Thorsten

[MarcelMertens]

Hallo,

zu den VMware Hosts:

- Wieso Festplatten für das System? Kostet Geld, erzeugt Wärme, braucht Strom und kann Kaputt gehen. Ich würde Dual 2GB SD nehmen.
- Wieso zwei mal Dual Port FCHBA (QLE2562). Zwei Controller sollten absolut ausreichend sein. (~ 2x 800MB/s)

Zum Storage:

- Grundsätzlich natürlich die Frage was du möchtest. Asyncron oder Syncron. Automatischer Transparenter Failover oder Händisch.
- Welche Technologie ist gewünscht bzw. ist schon was vorhanden. Derzeit sehe ich keinen großen Vor- und Nachteile für 8GB FC und 10GB iSCSI
- Als Datacore DCIE habe ich derzeit einige Projekte mit FusioIO Karten in DataCore Servern. Dieses ist eine sehr gute und günstige Möglichkeit massiv Performance zu erhalten. Natürlich müssen auch hier die Anforderungen und Vorraussetzungen geprüft werden.
- Gibt es einen Grund warum eine HDS unterm Datacore Server und keine MD PowerVault?


Grüße,

Marcel Mertens

Nachtrag: Da kam meine Antwort vor deiner

[vMario156]

Um die genauen Anforderungen an Server und Storage zu bestimmen kommt man in dieser Größenordnung nicht um ein Assesment herum. Wenn es nur um ein POC geht reicht sicherlich auch erst mal ein grobes, aber ganz ohne hat immer ein gewisses Risiko das es am Ende ganz anders aussieht.
Wenn ja schon ein Teil der Server virtualisiert ist kann man die Werte (CPU-,RAM-, Netzwerk-Auslastung & IOPS) ja ggf. via Xen & HyperV recht einfach bestimmen (kenne mich mit den beiden nicht wirklich aus)?!

Auch sollten verschiedene Worst-Case Szenarien berücksichtigt werden. Was ist z.B. wenn ein RZ komplett ausfällt? Reichen dann deine 3 Hosts im anderen RZ aus um alle 180 VM´s (ordentlich) zu betreiben etc.

Gruß
Mario

[irix]

Verwenden die Server welche konsolidiert werden sollen schon das vorhandene SAN oder haben die alle eigenen Storage? Falls ja dann muss geschaut werden was an IOPS hinterher benoetigt wird bzw. was da an EURO/TB heraus kommt.

Wenn schon Datacore im Haus ist und "keine" Gruende dagegen sprechen es weiter zuverwenden wuerde ich es in die Planung mit einbeziehen. Was das mit dem automatischen bzw. transparenten Failover angeht bzw. die Realisierung einen Stretchclusters ist dies auf der Leiter das erste vernueftige Produkt wobei man sagen muss das diese Leiter eh nicht soviele Sprossen hat.

Also 180 VMs auf 6 Server halte ich bisschen viel vor allen dingen wenn man eigentlich planen muesste das ein RZ die ganze Last mal tragen muss im Notfall. Weil ansonsten ist die Investition an einen Syncronen Spiegel verkehrt.

Gruss
Joerg

[pirx]

Die Frage ist ja immer, müssen bei einem Ausfall einer Seite alle VMs überleben? An unserem Hauptstandort laufen ca. 600 VMs in mehreren Clustern. Aktuell wird mit EMC VPLEX ein synchroner Spiegel aufgebaut. Die Hosts werden auch auf 2 Seiten verteilt. Es ist jetzt aber schon klar, dass wir nur den Ausfall eines Host komplett abfangen werden. Falls eine Seite komplett ausfällt, gibt es eine Liste mit ca. 50 "A-Systemen", diese müssen weiter laufen, oder in kürzester Zeit wieder gestartet werden können. Unter den anderen hunderten von Systemen sind viele Testsysteme und Systeme die einfach nicht weh tun, wenn sie eine gewisse Zeit nicht laufen. Es wird deswegen kein Band stehen bleiben und auch kein Stück weniger verkauft werden.

Das ist immer auch eine wirtschaftliche Überlegung. Bei einem Hoster/Provider sieht es sicher wieder anders aus.

[PeterDA]

Wenn ihr über DELL Server nachdenkt, würde ich auf jeden Fall der DELL Plugin for vCenter nicht vergessen. Das hilft einem bei der Installation und auch bei Wartungs- und Monitorarbeiten.

Wenn es eine NetApp werden soll ist immer die Frage muss ein Metro Cluster sein. Ansonsten würde ich eher mal über Clustered ONTAP nachdenken. Das ist die Zukunft allerdings wird hier das Metro Cluster frühestens nächstes Jahr verfügbar sein. Ausserdem würde ich die Netapp mit 10G und NFS anschliessen das Hilft im Bereich NetApp Snapshots und Dedub.
Und noch ein Gedankenanstoß wenn ihr eh alles neu macht und über NetApp nachdenkt, schaut euch doch mal FlexPod an.


@Joerg
dieser Satz von dir!

Die Dells haben redundante SD Karten und somit kann Localstorage und RAID Controller entfallen

Gruß Peter

[IronEagle]

@PeterDA: An den MetroCluster im Clustered OnTap glaub ich erst wenn ichs sehe :-) NetApp verspricht das schon seit Jahren fuer das jeweils naechste Jahr. Dazu kommt, das Clustered OnTap in gemischten (also mit klassischem 7mode) Umgebungen zuviele Einschraenkungen hat...

[PeterDA]

Hi,
das stimmt aber die Zeichen werden immer deutlicher, dass das Feature "Metro Cluster" in ONTAP 8.3 enthalten sein wird.

Welche Einschränkungen meinst du denn??

Gruß Peter

[IronEagle]

Fuer uns ist der groesste Showstopper: SnapMirror/SnapVault ist nicht zwischen 7mode und Clustered Ontap moeglich. Wir nutzen SnapVault, um Produktiv-Systeme auf ein Sekundaersystem zu spiegeln, und die Produktiv-Systeme sind sowohl auf Metro-Clustern als auch auf normalen HA-Paerchen. Letztere waeren ideal fuer Clustered-Ontap, aber wenn wir die umstellen wuerden, dann haetten wir halt kein Snapvault mehr fuer die anderen Systeme.

So scheitert eine Migration "system fuer system" schonmal, man muesste wenn dann alles auf einen Schlag umstellen. Und da muss dann erstmal der MetroCluster im Clustered Ontap her, und ein gescheiter Migrationspfad - ein In-Place Upgrade ist ja nicht vorgesehen, man muss ein System komplett neu aufsetzen, und da muss man dann auch erstmal den Platz haben, um ein System komplett zu evakuieren.