Vmware ESX Hardware Konzept / Open Filer / NFS

[busted]

Hallo Allerseits,

nachdem ich mich hier bisher nur lesend rumgetrieben habe, auch mal etwas schriftliches von mir. Ich möchte mir gerne eure Meinung zu folgendem Projekt einholen:

Ich plane aktuell die Virtualisierung von ca 25 Servern. Mein Plan war bisher folgender:

Es sollen 8 Geräte als VMHosts eingesetz werden. Diese bestehen aus:
2x Xeon 6Core,2,6Ghz 48GB RAM, 5x300 GB SAS Raid5, Adaptec 5408
2x 4Fach Intel QuadCore NIC
2 Onboard NIC

Angebunden per:
2 x Nortel 551048T Stack für das spätere öffentliche Netz
2 x Nortel 551048T Stack für die Anbindung an den Filer
2 kleine switches für die 2 Onboard Interfaces für Management

Der Filer ist ein "einfacher" Server mit 16x2TB HDDs im Raid. und 2x4Fach Intel NICs.

Dabei bekommt jeder VM-Server 4 Verbindungen an das öffentliche Netz und 4 an den Storage. So das jede der Netzkomponenten ausfallen könnte und trotzdem noch Verbindung besteht. Der Plan war, das über VLAN und Port-Trunking theoretische 4GBit Anbindung für Front und Backend vorhanden sind. Durch die redundante Auslegung würde die Bandbreite im Fehlerfall zwar verringert, aber die Verbindung nicht komplett ausfallen.

Im Betrieb sollten die VMs auf den Maschinen selber laufen, auf dem Filer werden diese regelmäßig gebackupt und im Fehlerfall einzelner Server könnten die Backupimages von anderen übernommen werden. Daten werden per NFS freigegeben.

Da ich das aber so noch nie gemacht habe, und bisher nur mit der kostenfreien ESXi 4 "rumgespielt" habe nun meine Frage: kann man das so machen? ist das sinnig?

Kann ich eine HA-artige Funktion erreichen wenn ich aus performance Gründen die lokalen Platten nutzen möchte?

Für HW sind ca. 70k€ im Budget, 16k für die VMWare Standard Lizenzen.


Habe etwas Respekt vor FibreChannel SAN da hier noch keine Hardware und kein KnowHow vorhanden ist.

Vielen Dank schonmal.

[mschoen]

Dazu wäre zu erst interessant was für IOPS deine VMs so haben bzw. brauchen, danach kannst du dann deine Umgebung anpassen...

8 Hosts halte ich für übertrieben für 25 Server, aber es kommt halt drauf an was du wirklich machen willst.

Jenachdem ob die HA nutzen willst, solltest du die VMs auf einem Shared Storage lagern. Da du relativ viel DAS hast, glaube ich, dass du das anders vor hast. Den Storage vom dem du sprichst, halte ich für ungeeignet. Da würde ich auf ein "richtiges" Storagesystem zurückgreifen und das entsprechend anbinden über FC oder iSCSI.

Bei 70k 8 Servern und Storage + Care Packages halt ich für sehr optimistisch. Ihr solltet euch da von einem Systemhaus mit entsprechenden Erfahrungen beraten lassen...

[busted]

ja, 4-6 von den Karren sollten reichen, aber es soll etwas Luft sein für neue Dinge.
Die Server sind allesamt Linuxkisten. IOPS im Schnitt bei 5k, die Datenbanken sind außen vor. Die werden erst mal nicht mitvirtualisiert. Also durch das Cachingsystem was bei uns läuft ist 90% aller auszuliefernden Daten im Arbeitspeicher.

[irix]

Hallo,
kannst du was zur Ausstattung und der Auslastung der 25 Server sagen? Weil mit deinen geplanten 8 Hosts hat da jeder 12 pCPUs und 24 logische dank HT. Das waere eine Konsolidierungsrate von 3:1 und zu dem was ich in den letzten 2 Jahre gesehen habe sehr niedrig. Hier gibts durchaus VMs welche Last produzieren und viel mehr Resources verbrauchen aber in der Mehrheit duempeln die meisten so dahin und diese vielgesagten 7-30% Auslastung welche ein Server nur hat bewahrheiten sich ofttmals.

Durch deine Anzahl von 8 Hosts ueberschreitest du die Grenze des vCenter Foundation und es wird die groessere Version mit dem tollen Namen "Standard" gebraucht. Das zusammen mit 16 Standardlizenzen und nur einem 1 Jahr SnS "Basic" bist du ein Stueckchen ueber 16K.

I.d.R ist DAS immer Performanter aber mit einem SAN bin ich flexibler und habe dafuer mehr Moeglichkeiten was Backup und Desaster Recovery angeht. Die Problematik das du bei Wartungsarbeiten am ESX Host eine laengere Downtime von 3-4 VMs hast ist dir klar oder?

Die ESX Hosts mit Platten ausstatten ist nicht Verkehrt... allerdings kommt meist guenstigs SATA zum tragen und dient einzig und allein zur Ablage von Replikas der Produktions VMs welche im SAN liegen (Ob das FC, iSCSI, NFS ist spielt erstmal keine grosse Rolle)

Frage:
Da du mittels NFS Freigabe die Daten im Notfall wieder den VMs zur Verfuegung stellen moechtest gehe ich recht in der Annahme es sich um Linux VMs handelt?

Gruss
Joerg

[busted]

Hallo,
kannst du was zur Ausstattung und der Auslastung der 25 Server sagen? Weil mit deinen geplanten 8 Hosts hat da jeder 12 pCPUs und 24 logische dank HT. Das waere eine Konsolidierungsrate von 3:1 und zu dem was ich in den letzten 2 Jahre gesehen habe sehr niedrig....

ja, es sind zum Teil nur Idle-Server, aber 12 Maschinen die in der Spitze schon ihre 8 CPUs zu 80% nutzen. Desweiteren habe ich einige Server die halt "nur" 20GB RAM brauchen und sonst fast nix.

Durch deine Anzahl von 8 Hosts ueberschreitest du die Grenze des vCenter Foundation und es wird die groessere Version mit dem tollen Namen "Standard" gebraucht. Das zusammen mit 16 Standardlizenzen und nur einem 1 Jahr SnS "Basic" bist du ein Stueckchen ueber 16K.

wo liegt den die Server Anzahl das ich drunter bleibe, und wieviel ist das "Stückchen" mehr ?

I.d.R ist DAS immer Performanter aber mit einem SAN bin ich flexibler und habe dafuer mehr Moeglichkeiten was Backup und Desaster Recovery angeht. Die Problematik das du bei Wartungsarbeiten am ESX Host eine laengere Downtime von 3-4 VMs hast ist dir klar oder?

Das System ansich ist schon mit doppelten Servern ausgestattet, sodas zB bei 2 Cachingservern einer aus gehen kann, und der Service immernoch steht. Von daher dachte ich, kann ich auch mal fix einen Server "frei" machen (durch die geschickte Verteilung der Images auf die anderen Server) um ihn dann für Wartung/Update runterzufahren, bzw die Clientes darauf zu beenden.

Die ESX Hosts mit Platten ausstatten ist nicht Verkehrt... allerdings kommt meist guenstigs SATA zum tragen und dient einzig und allein zur Ablage von Replikas der Produktions VMs welche im SAN liegen (Ob das FC, iSCSI, NFS ist spielt erstmal keine grosse Rolle)

Frage:
Da du mittels NFS Freigabe die Daten im Notfall wieder den VMs zur Verfuegung stellen moechtest gehe ich recht in der Annahme es sich um Linux VMs handelt?

Gruss
Joerg

Ja alles Linux.

[mschoen]

8 CPUs und 20 GB da solltest du überlegen ob du diese Maschinen in Echt-Blech lässt...

[busted]

ja ne, die 8cpu dinger brauchen 2-3gb
die 20gb fresser haben 0,1% cpu

[sirrossi]

Moin, moin,

Deinen zentralen (HA)Storage solltest Du entsprechend definieren, dies macht eine gute Verfügbarkeit aus. Meist wird auch der Einfluß deselbigen auf die Performance unterschätzt.

Die vCenter Foundation verkraftet 3 Hosts mit jeweils maximal 2 physikalischen CPU's.

Hast Du denn eine "Testumgebung", um jeweils eine der kritischen Maschinen (CPU + RAM seitig) mit einer Handvoll weiteren Normalservern zu testen?

[busted]

nein, aktuell leider keine Testumgebung. Habe aber noch Luft, wenn wir die ersten Geräte bestellen.

[opti-c]

Schau Dir doch mal den Intel Modular Server an.

http://www.intelmodularserver.com/

Wir haben jetzt gerade ein Kundeprojekt damit umgesetzt.
Ich finde das System ideal für die Virtualisierung kleiner bis mittlerer Umgebungen mit Wachstumspotential. Virtualisierung der Server und evtl. der Clients

Vorteile:
6 Computing Module möglich (Nachrüstung bei Bedarf)
bis zu 48GB / CPU und 2 CPU´s / Module
Zuordnung des Storage zu den einzelnen Computing Modulen
14x SAS 2,5" Hotswap integriert
Nur 6HE im Rack (und der Storage ist schon mit drin)
Bei Bedarf kann Switch und Storage redundant ausgelegt werden
Managen des gesamten Systems über eine Weboberfläche

Gruss

Martin