VMware Landscape - 4* Dell R815 2* NetApp 3140

[thorrep]

Tach auch

Würde gern mit euch mal ein VMware Design diskutieren. Die Kandidaten sind:
4* Dell R815 mit je 48Cores, 256GB, 2* 10GE, 2*1GB
2* NetApp 3140 mit je 2* 14* SATA und 256GB PAM, weitere Shelfs werden kommen

Die Server sollen über die 10GB via NFS auf die NetApp drauf. Ich finde das es "viel" zu wenig NIC Ports sind, da ich den Traffic komplett trennen möchte (1* NFS, 1* vMotion, 1* VM). Sollte man doch so machen, oder? Denke schon das ich meinen Chef noh davon überzeugen kann. Denn 1GBit für VM und 1Gbit für vMotion sind definitiv zu wenig. Preislich fällt das ja eh kaum ins Gewicht.
Die NetApp läuft als MetroCluster somit ist auch dem Stroage HA gedient. Auch soll der zentrale FileServer direkt auf den NetApp laufen
Auf den ESXn toben sich etliche Server (SAP, SQL, DB2, Domino, etc.) ca. 60-80 und ca. 500 View Desktops aus.
Als Switche kommen 2* HP 6600 mit je 24 Ports daher.
Backup wird mittels HP DataProtector 6.11 auf eine LTO Lib mit 2* LTO4 FC gemacht. NDMP wäre ganz nett aber das kommt recht teuer über den HP DP. Dann wohl doch eher via VCB oder Storage API. Wobei ich von Storage API unter vSphere noch keinen Plan habe wie das geht. Könnt ihr mir da noch den ein oder anderen Tipp geben

So was habt ihr noch für Vorschläge, Anmerkungen etc.?

Gruß
Thorre P

[affabanana]

Hallo Du

Ich würde das Storage mit SAS bestücken.
Und sicher mehr Knoten nehmen.

Warum 4 Server mit zusammen 1Tb RAM wenn Du nur 12 Disks hast.
12 x 80IOPS ==== 960 IOPS
Das PAM bringt schon noch ordentlich Leistung dazu.
Aber mehr Festplatten solltens schon sein...

Da werden sich noch andere Leute melden die das schon geplant und augeführt haben.

Ich hab hier mal 1nen von mal 2 HP dl380 G6 in Betrieb genommen
mit 6x 300 GB SAS Festplatten
Von der Leistung reichts bei mir für 4 Server und ein XP Managment Client aus.
Mehr aber auch nicht.

gruass affabanana

PS: Frag mal bei HP an für die DL580

[PeterDA]

Hi,
warum willst du mit 10Gb auf die NetApp wenn du dort nur SATA Platten verbaust. Da sind die Platten definitiv der Flaschenhals. dur wirst bei der Menge an VMs sicher nicht um FC Platten rumkommen. Ansonsten kannst du dir deine ganzen Überlegungen mit 10GB schenken die I/Os der Paltten werden hier nicht reichen.

Gruß Peter

[Dayworker]

Je nach Controller sind SAS-Platten auch nicht so der Hammer.
Wie das Storage intern seine Platten verwaltet, interessiert den ESX ja nicht. Zumal viele Storageanbieter aus Kostengründen intern doch wieder auf Sata2 setzen.

[thorrep]

Hallo

Danke schon mal für die ersten Anmerkungen. Hier mal ein paar Antworten darauf.
Insgesamt drehen sich hier 48* SATA 1TB Disks verteilt auf 2* 3140 Controller. Jeder dieser Controller hat ein 256GB PAM (Performance Acceleration Module) als Cache drin. Dadurch sollten die meisten der Lesezugriffe dirket vom PAM abgedeckt werden. Nach der Rechnung von "affabanana" habe ich dann letzten endlich 24* 80 IOPS = 1920 pro Seite, oder? Sind diese 80 IOPS ein korrekter Wert für die 1TB SATA Disk und wie verändert sich dieser Wert bei SAS oder gar FC Disks?
Den DL580 haben wir schon bei HP angefragt. Nur leider gute 20% teuer je Stück und auch keine 48 Cores möglich pro Maschine.
Das mit den 10GE bin ich mir auch net so sicher ob das wirklich ausgereizt werden kann ohne das entsprechende Storage hinten dran. Ich bin eher dafür mehrere GBit Ports in den Servern und natürlich auch in den NetApp Controller zu haben. Da ist man dann doch einiges flexibler.

Gruß
Thorre P

[sirrossi]

Moin Thorre,

tatsächlich ist Dein Storage das Bottleneck.
Die SATA Platten liegen bei ca. 80 IOPS, SAS (15k) Platten schaffen etwa 150-180 IOPS.
Wenn ein Server im Schnitt etwa 50 GB an Plattenbedarf hat, solltest Du mit 8 TB netto sicherlich klarkommen. Somit kannst Du jeweils 2 Shelfs mit 450 GB bzw. 600 GB SAS/FC Platten bestücken.

Die Herausforderungen bestehen aber nicht bei der Gesamtkapazität, sondern tatsächlich in den verfügbaren IOPS. Solltest Du VM's clonen bzw. aus Templates neu erzeugen ist es sicherlich von Vorteil, die größere Bandbreite der 10 Gbit/s nutzen zu dürfen. Dann sollten auch mehr als 300 MB/s Transferrate erzielt werden.
Jedoch wird im normalen Tagesbetrieb der Bedarf an IOPS hauptsächlich mit kleinen Paketen (4 kB bzw. 8 kB) abgedeckt. Dies sind in Summe selbst bei 5.000 IOPS (Vollauslastung) nur etwa 30 MB/s.

Die 256 GB PAM ist ordentlich, halte Dir aber in Deinem Budget die Option für die Nachrüstung von mindestens einem, besser zwei, weiteren Plattenshelfs offen.

[bla!zilla]

Die PAM bringt dir aber nur beim Lesen was, beim Schreiben stehst du da mit deinem kurzen Hemd. Ich würde eher kleinere, und mehr Platten nehmen. Dann auch kein SATA oder SAS, sondern FC Platten. Sonst wird das mit dem Metro-Cluster nix, außer du hast die Hardware auf beiden Seiten. Bei FC Platten könntest du die beiden Köpfe auch einfach auseinander ziehen.

2x GbE für Service-Console und vMotion sind okay.
2x 10 GbE für VMs sind auch okay.

Wenn du es halbwegs verfügbar haben willst, kommst du um zwei NICs pro vSwitch nicht rum. Die Portgroup für NFS könntest du an die 10 GbE Links hängen.

HP bietet für den DP eine VMware Integration. Setzt pro ESX und pro vCenter Server eine Online Integration voraus.

[irix]

Den einen Kunden welche ich habe mit einem Metrocluster hat natuerlich auf "beiden Seiten" Produktive VMs/Server laufen. Somit stehen dir in der Tat pro Seite 28 Spindeln zur Verfuegung. Je nach RAID Gruppe fallen dann aber auch mehr oder weniger noch weg.

Ich gehe mal davon aus das ihr das ja nicht alleine ausgewuerfelt habt sondern direkt mit dem Hersteller oder einem Partner zusammen macht der Erfahrung oder zumind. Zugriff auf Berechnungstools hat.

Sachen die mir so einfallen
- Warum PAM und nicht FlushCache aka PAM II? Gibts auch fuer die kleinen FAS3140
- Wenn man die max Settings fuer 4.0 zugrunde legt duerftet ihr in der Konstellation VMware HA nicht aktivieren. Mit U1 sind die max. VMs pro Host aber auf IIRC 160 erhoeht worden und somit passt das fuer eure 4 Hosts und 580 VMs. Allerdings duerft ihr dann keine Wartungsarbeiten durchfuehren weil dann seit ihr mit 3 Host bei 190 VMs und somit ueber der Grenze
- Wie sind die Lastkalkulation den aus wenn mal eine Seite des Spiegels oder aber ein Host weniger da ist? Wird ueberhaupt mit VMware HA gerechnet?
- Warum Komponenten von 3 Herstellern (Netapp, HP, Dell?) Bei DELL gibts die (Brocade) PC8024F Switche aber ich weis nicht ob diese Featuremaessig vergleichbar sind da ich die HP 6600 nicht kenne.

Zu deiner eigentlichen Frage.....
Die PE815 hat wie eigentlich alle Dell Server ab PE710 4x1GB Onboard, bei der PE91x kommt sogar noch 10GbE Onboard dazu. Die 4 GB Onboard gehen 2x fuer die SC und VMware HA (Heartbeat) weg. Die anderen 2 kann man als "Fail Over" NICs fuer die anderen PGs nehmen. Im Falle von iSCSI koennten die 1GbEs nicht als Fallback dienen... ich vermute aber das es bei NFS Anbindung anders aussieht weil dort dieses VMK Binding an den swISCSI Initiator wegfaellt?

VMware propagiert nicht mehr dieses expliziete Trennung von PGs/vSwitchen und pNICS da dies im 10 GbE Umfeld nicht mehr durchfuehrbar ist. CISCS UCS basiert vollstaendig auf 10GbE zur Uebertragung von KVM/SAN/LAN.

Sollte allerdings ein Backup Produkt zum Einsatz kommen was ueber die SC laueft kann es Sinn machen auch diese auf die 10GbE zulegen. Ansonsten wird die Bandbreite dort nicht benoetigt.

Du willst auf jeden Fall 10GbE fuer vMotion/FT und dein "Prod" Netz haben. Damit der Fehlerfall "Ausfall der Dual? 10GbE Karte" abgefangen werden kann muesstet ihr auf 2x Single Port 10GbE gehen oder aber viel besser auf 2x Dual 10GbE gehen. Im letzten Projekt von vor 2 Wochen haben sie die Intel DUAL AT 10GbE mit knapp 700,- verrechnet und dazu noch 2x SFP+ Koax fuer je 100,-.

Intel hat doch ein schoenes Bestpractices zu diesem Thema.....
http://download.intel.com/support/network/sb/10gbe_vsphere_wp_final.pdf

Wenn ihr einen Host per vMotion freiraeumen wollt dann wartet ihr bei 150VM da ja ewig und 3 Jahre bei 1Gbit. Allerdings immer im Hinterkopf behalten das VMware viele Dinge abregelt.

Die virtuellen Clients welche Daten von den Servern wollen wuerden das auch ueber das 10GbE Netzwerk tun.

Fuer vMotion und FT werden max. 3-3.4Gbit an Bandbreite verwendet und auch ein Cloning wird begrenzt.

Appropo Cloning.... hat Netapp da nicht etwas was Cloning auf Storage Ebene macht und somit erheblich beschleuningt?


Wir haben hier 16 Cores Server mit 128GB und diese koennen wir Speichermaessig nicht auslassen weil vorher die Performance wegbricht bzw. sehr leidet. Natuerlich koennte man hingehen und unnoetig Speicher den VMs zuweisen aber das ist extrem Kontraproduktiv wenn der dort nicht Sinnvoll vom OS/APPs verwendet wird. Mit 48 Cores und einer Last von virtuellen Clients sieht das evtl. anders aus als bei der typischen Serverkonsolidierung.

Ich stehe somit wenigen grossen Hosts mit vielen Resourcen ein wenig kritisch gegenueber sofern man nicht genau weis wie diese mit der Load umgehen oder aber welcher Bottleneck zu erst erreicht wird.

Hab ihr mal spasseshalber ausgereichnet was eingespart werden kann wenn ein Host nur 96GB hat anstelle 256GB? Weil fuer die Differenz im Listenpreis bekommt man ja locker einen weiteren Server.

Ich koennte jetzt noch was zum Thema FC Platten schreiben aber das lass ich mal da der Post eh schon lang genug ist und ich auch mal was tun muss . Nu soviel... wenn die Leute nach FC schreien dann meinen sie FC fuer den Hostchannel und nicht das was das Storage intern verwendet. Weil die Hersteller welche intern noch FC verwenden muss man bald mit der Lupe suchen und auch nur in wenigen Modellen wird jede Platte mit einem einzelnen Kanal dann angeschlossen.

Gruss
Joerg

[bla!zilla]

Fabric nutzt kein Hersteller intern. Das ist FC-AL. FC als Plattenbackend ist Standard bei einigen Mid- und so ziemlich allen High-End Arrays. Aber im Prinzip ist es egal ob SAS oder FC, da die Mechanik die gleiche ist.

[sirrossi]

Ich finde diesen "Glaubenskrieg" mit Argumenten wie "das ist eine FC Platte und keine SAS Platte!!" immer wieder unterhaltsam, damit die Markenanbieter ihre "spezielle" Festplatten zu leicht überhöhten Preisen (Faktor 5 und mehr ) an die Kunden bringen können.

Fakt ist: Storage ist verdammt wichtig für die Perfomance, oft die teuerste Hardwarekomponente (auch ohne FC). Neue Server können dagegen recht schnell und für ein vergleichsweise geringes Budget in die Umgebung eingebracht werden.

Ende letzten Jahres hatten wir die Möglichkeit, 10 Gbit/s in der Praxis zu testen. Dort war mit fast allen Netzwerkkarten bei knapp über 4 Gbit/s Schluß, nur die Intelkarten erreichten Dank dem Queuing knapp 9 Gbit/s

Wie sind inzwischen eure Erfahrungen, konnten die anderen Hersteller nachziehen

[bla!zilla]

Glaubenskrieg?? SAS und FC Platten sind mechanisch identisch. Was die Dinger so teuer macht, ist das Interface.

[sirrossi]

Das ist schon richtig, es wird aber gerne erzählt, das die SAS Performance mit der FC Perfomance aber so ja gar nicht zu vergleichen wäre.

Den Kunden interessiert das unterm Strich nicht, er möchte ein System, das eine hohe Verfügbarkeit bei einem guten Preis/Leistungsverhältnis bietet.

@ Thorre
Habt ihr seitens des Storage auch emc oder HP in Betracht gezogen?

[Mystefix]

Appropo Cloning.... hat Netapp da nicht etwas was Cloning auf Storage Ebene macht und somit erheblich beschleuningt?

Das Tool heißt Rapid Cloning Utility. Bin leider noch nicht dazu gekommen es auszuprobieren.

http://blogs.netapp.com/virtualization/ ... lable.html

[simcemilia]

Ich denke auch das du im Storage Bereich Probleme bekommen wirst.

Beim Sizing vom Storage Systemen für virtuelle Desktops (z.B. VMware View) kann man je nach Desktop OS von 7-10 IOPS pro Desktop ausgehen.

Diese IOPS können dann auch zwischen 60-80 % WRITE IOs sein.

Wenn diese Annahmen mit deinen 500 Desktops und 60-80 Servern durchrechnet, kommt man auf keinen grünen Zweig zumal die 80 IOPS der SATA Disk auch eher als Brutto Wert zu verstehen ist, der durch den RAID Level des Storage Systems noch abnimmt.

Weiterhin würde ich auch mehrere kleinere Server einsetzen, damit dir im Fehlerfall nicht 25 oder 50% deiner Gesamtkapazität weg brechen.[/code]

[thorrep]

Hallo

So das sind nun doch einige Antworten Vorschläge etc reingekommen. Habe in dieser Woche das ein oder andere Telefonat mit NetApp und unserem Systemhaus zu diesem Thema. Denke mal das wird eher etwas länger gehen diese Diskussion. Ein paar Sachen kann ich sagen.
Ja wir haben HP (Lefthand) und auch DataCore etc. in betracht gezogen. Letzendlich entscheid bei unser der Preis und da liegen NetApp und HP fast gleichauf. Aber durch die vielen Features und den "Unified Storage" Ansatz von NetApp wird dies wohl das System unserer Wahl sein. Andere Hersteller wie DataCore, EMC etc. waren einfach zu teuer.
Ja, es werden noch weiter NIC Ports (10GE und GE) hinzugefügt.
Das mit mehreren kleineren Servern wird wohl etwas schwieriger da dann glecih die Kosten für die weiteren System steigen.
Weitere Antworten folgen in den nächsten Tagen.

Mal was anders.
Gibt es irgend eine Möglichkeit wie ich die aktuellen I/Os unserer verteiligen VMware Landschaft bekomme. Aktuell haben wir 16 Hosts in 7 unterschiedlichen Standorten unter vCenter. Leider gibts es auch diverse Standalone ESXi Systeme.

Danke für euer Feeback bis her.

Gruß
Thorre P

[bla!zilla]

Rein aus Interesse: Habt ihr SANmelody oder SANsymphony betrachtet?

[thorrep]

@bla!zilla

Es wurd SANsymphony betrachtet. Allerdings durch den doch erheblichen Preisunterschied leider nicht in tiefere Details eingestiegen.
Nur mal so als Anhaltspunkt. Datacore war gute 40% teurer.

Gruß
Thorre P

[bla!zilla]

Mmhh... da wurdet ihr GANZ schlecht beraten. SANmelody wäre für euch das bessere Produkt gewesen.

[thorrep]

@bla!zilla
Naja, wie dem auch sei das hat sich eh schon früh erledigt gehabt.

@all
Wie sieht es mit den I/Os aus, gibt es da eine Möglichkeit diese aus dem vCenter "rauszuziehen"?

Gruß
Thorrep

[Tschoergez]

Hi Thorre,

in den Performance Charts gibts Counter für die IOs, pro VM und pro ESX.
Die muss man aber per Hand zusammenrechnen.
Allerdings werden standardmäßig nur die KBbs länger als die letzte Stunde aufgehoben, nicht die IOPS.

Oder aber via Powershell oder ähnliches die Daten "nackt" rausziehen und manuell weiterrechnen. (
http://www.lucd.info/2010/01/13/powercl ... instances/
als ausgangspunkt...)

Oder auf dem 3rd-party markt umschauen, ich glaub, www.vkernel.com hat was entsprechendes im Angebot (oder VEEAM, solarwinds, uptimesoftware, vFoglight usw.). Aber genau nachfragen, wenn die auch "nur" die Daten live aus dem vCenter holen, bringt das wenig mehr als oben...

Genauer/Einfacher wäre es wahrscheinlich, sowas direkt am Storage anzufragen, falls das solche Monitoring-Möglichkeiten bietet.

Der Mercedes, äääh sorry, ich meinte natürlich der ABT unter den Lösungen , ist www.virtualinstruments.com . Von den Features, der Leistung und wahrscheinlich auch vom Preis .

viele grüße,
jörg

[irix]

vFoglight hat einen eigenen Collector welcher sich zwischen ESX und vCenter haengt da im vCenter nicht alles an Daten gespeichert wird bzw. je nach Einstellung ja auch wieder geloescht bzw. kummuliert wird.

Aber die Frage warum nicht einfach esxtop bzw. resxtop verwenden? Sofern nicht gross mit Snaps und Thinprovisioning gearbeitet wird sind die CMD/s fast den IOPS gleichzusetzen.

Gruss
Joerg

[thorrep]

Bezüglich der Netzanbindung. Wie seht ihr das wenn ich die 2* 10GE für allen Traffic (SC, vMotion, VMtraffic, VMkernel NFSetc.) her nehme. Geht das überhaupt u wenn ja wie "brummt" das dann? Kommt ja dann doch einiges zusammen.

@Tschoergez
Ja die Äbte
Sieht ganz hübsch aus aber wie schon gesagt doch etwas oversized.
Habe mittlererweile ein paar I/Os von 2 älteren EVAs (3k, 4k). Dort laufen diverse VMs und auch physische Maschine welche in Zukunft alle auf der NetApp sein sollen. Hier die Werte:
EVA 3k (46 disk, 146GB FC) avarage I/Os 712, max I/Os 7110
EVA 4k (24 disk, 146GB FC) avarage I/Os 416, max I/Os 4514
Leider fehlen mir noch die nötigen I/Os von unseren dicken SAP und DB2 Server. Werde auch noch checken was davon read und was write I/Os sind.

Gruß
Thorre P