Terminalserverfarm mit ESXi und virtuellem SAN umsetzten?

[=Jägermeister=]

Hallo zusammen!
Bin schon lange begeistert von der Virtualisierung generell und nutze es zu Testzwecken auch schon seit längerem, sowohl privat als auch hier in der Firma.

Ich würde gerne mal ein paar Meinungen von ein paar Leuten mit entsprechender praktischen Erfahrung zum unten beschriebenen Fall hören.


Und zwar haben wir hier eine Terminalserverfarm bestehend aus ~25 Rechnern. Hardware: FSC TX150 & TX200 mit je 4GB RAM, 2 Platten im Raid1-Verbund und Win2000 Server als OS. Die Rechner selbst haben wenig Rechenleistung zu erbringen und auch wenig Plattenzugriffe (Kunden starten halt eine Software, welche dann auf andere DB-Rechner zugreift, wo dann die eigentliche Rechenleistung erbracht wird). Auf jedem Server arbeiten ca. 50-60 Kunden. Auf den Servern selber befinden sich keine kritischen Daten (alles wird auf den DB-Rechnern gespeichert), jeder Server ist von der Software her identisch.
War schon seit längerem der Meinung, dass sich diese Terminalserver ideal zum virtualisieren eignen.

Also habe ich testweise mal damit begonnen:
Aktuell habe ich auf einem FSC RX300S4 (2x Quad-Core, 16GB RAM) 4 dieser Terminal-Server laufen (und 3-4 weitere andere VM´s) und es klappt wunderbar. Habe diese 4 virtuellen Terminalserver mit in den Load-Balancer aufgenommen und die Kunden arbeiten jetzt wirklich produktiv drauf. Wie gesagt würde ich gerne die komplette Farm virtualisieren. Dabei gilt es jetzt natürlich noch weitere Punkte wie Ausfallsicherheit etc. zu beachten. Hatte da an folgende Umsetzung gedacht:


Die 25 TX Server würde ich durch 4-5 FSC RX200S4 (2x Quad-Core-Cpu´s und 32 GB RAM) ersetzen. (FSC geht ja auseinander, wir überlegen auch eventuell auf einen anderen Hersteller zu setzten, aber in diesem Beispiel geh ich jetzt mal von der mir bekannten Hardware aus, die wir auch aktuell im Einsatz haben).
Ich denke das es möglich ist, auf jede RX200 8 Terminalserver zu packen. Jede VM könnte dann einen Kern und 4GB RAM zugewiesen bekommen. Das ganze kann man aber eventuell ja auch als Resource-Pool anlegen, falls eine VM doch mal mehr CPU-Leistung braucht.
Eine RX200 hat 2 LAN Anschlüsse. Unsere neuen Racks haben jeweils 2 Switchs, so dass ich die LAN Anbindung redundant auslegen kann. Netzteile gibt es natürlich ebenfalls 2 Stück. Im Vergleich zum jetzigen Zustand: die alten TX150 haben nur ein Netzteil und eine LAN-Karte. Als Storage hatte ich an ein virtuelles SAN gedacht (Xtravirt Virtual SAN). Da die Rechner wie gesagt nur wenig Plattenzugriffe haben, müsste die Anbindung über iSCSI eigentlich ausreichen. Als Hardware für das virtuelle SAN würde ich dann eine RX300 nehmen, da ich ja ein paar Platten unterkriegen muss. Für jede VM reichen da 20GB locker. Da hier natürlich die Platten in einem RAID1 Verbund wären, könnte ich aus 4x 300GB SAS Platten 600GB Storage gewinnen.
Das SAN natürlich dann ebenfalls an 2 Switche etc.
Da wir 2 räumlich getrennte Rechenzentren haben (mit 48 Gbit FC verbunden), würde ich ein 2tes SAN als Failover für das erste einrichten und im anderen RZ platzieren. Natürlich würden die 4-5 RX200 auch auf beide Räumlichkeiten aufgeteilt.
Durch insgeammt 8-9 HE im Rack hätte ich dann 25 Tower-Server ersetzt. Und natürlich Wärme- und Engerieeinsprung.

(Natürlich wäre mir ein richtiges SAN lieber, aber das hat ja auch so seinen Preis )

Das Ganze ist bis jetzt soweit erst mal nur theoretisch durchdacht.
Was haltet Ihr von der Idee ? Stell ich mir das zu einfach vor oder hab ich irgendwas fatales übersehen / vergessen / falsch gemacht

Sry, ist ganz schön viel Text geworden :-|

Danke für jede Antwort!

Gruß!

[echt_weg]

Moin,

wenn man mal das storage nicht betrachtet klingt das ganze recht ordentlich. wenn alle ts 1vcpu maschinen werden und das langt (gehe ich mal von aus) dann dürfe das genau so hinkommen du es beschreibst. persönlich würd ich wohl eher 4xquadcore maschinen nehmen statt 2x2quadcore aber das ist geschmackssache und muß jeder selbst wissen.
bei einer solchen hohen anzahl an terminalservern solltest du auch zeit einplanen die du für optimierungen brauchst. betreibe selbst ähnlich große ts-farm auf esx-seite und da kann man noch performance rausholen (andererseits: wenn es reicht lass es laufen!)

Kritisch sehe ich das storage. uscsu dürfte tatsächlich genügen aber 4 spindeln halte ich für zuwenig. ich will nicht sagen dass das ganze nicht geht aber plane da lieber mal mind. das doppelte ein!


ich würde das ganze eher so versuchen:
2 server kaufen mit je 4 starken quadcore cpus und je >64gb.
damit wird die verwaltung einfacher und jeder der server wird halbwegs den ausfall von einem anderem abpuffern können (performance leidet dann - das ist klar!). für das geld was du dann gespart hast lieber ein einsteiger-fc-san zulegen und dort auf kleine schnelle hdds setzen.

damit hast du dann eine umgebung die für die zukunft besser zu skalieren ist und du hast ein ordentlcihes storage. ich glaube nicht, dass diese lösung zwangsweise viel teurer wird.

um dann den ausfall eines der esx-hosts besser puffern zu können kann man dann irgendwann auf nen 3ten host gehen...

[=Jägermeister=]

Danke für die schnelle Antwort!

Ja ein richtiges SAN wäre mir natürlich auch lieber. Aber das ganze soll wie erwähnt auch redundant sein und da denke ich, würde ich kostenmäßig das Buget schon stark sprengen.
Es war auch immer schon mal im gespräch, dass bei uns ein richtiges SAN angeschafft wird. Für die Größenordnung unseres RZ waren das aber gute 100.000€ (hatten damals ein Angebot von FSC bekommen). Ich habe die Hoffnung aber noch nicht aufgegeben, dass das doch irgendwann klappt. Von daher würde ich den von mir beschrieben Weg eher als "Übergangslösung" sehen.
Der Speicherplatz ihat mit insg. 600GB natürlich seine Grenze. Allerdings hatte ich auch 20GB kalkuliert pro VM, was heißen würde, ich könnte 30 Terminalserver darauf speichern. Habe gerade noch mal auf einen Server drauf geschaut. Die momentane Belegung liegt bei lediglich 5-6GB, weil halt wirklich nur das OS + ein paar Programme auf der Platte liegen. Würde ich z.B. jeder VM 12 GB zur verfügung stellen, hätte jede VM das doppelte an Platz wie momentan benötigt und ich könnte insgesamt 50 VM´s anlegen (welche wir sicher so schnell nicht brauchen).
Bis wir da mal soweit sind, haben wir denke ich ein richtiges SAN

(man könnte die RX300 ja auch noch über eine externe SCSI Schnittstelle um Platten erweitern, z.B. mit ner SX30 oder so.)

Habe im Laufe des Tages noch etwas weiter recherchiert und mich in das Thema eingelesen. Dabei ist mir folgendes aufgefallen, was ich noch nicht so ganz verstehe:

Welchen Vorteil hat die von mir genannte SAN-Lösung (also 2x RX300 mit ESXi darauf und dann je einer "Xtravirt Virtual SAN" VM) gegenüber einer "nicht virtuellen iSCSI-SAN Lösung" ???
Bin hier z.B. auf Openfiler gestoßen, damit könnte ich ja auch ein iSCSI-SAN aufbauen, halt nur nicht virtuell.

Danke und Gruß!

[PANIC]

Das Stichwort heißt redundanz. Mit dem Xtravirt Virtual SAN, das auf Linux (CentOS 5, iSCSI Enterprise Target, Heartbeat 2 und drbd basiert) werden die loalen Platten übers LAN auf den zweiten ESX in Echtzeit (je nach eingestelltem Protokoll) gespiegelt.
Fällt ein ESXi auch kann der zweite alles übernehmen (Heartbeat switcht die IP um).

Openfiler ist die "einfachere" Lösung und ich würde Xtravirt Virtual SAN nicht produktiv einsetzen, wenn du dich nicht extrem gut mit Linux auskennst.

Ich habe gerade im Lab das ganze mit Ubuntu 8.10, ESX optimeirter Kernel und einigen anderen Tuningmaßnahmen dealine sheduler im kernel am laufen. SIeht bis jetzt gut aus auch mit Reboot beider Hosts. Ob ich das ganze profuktiv nutzen werde, müssen die Tests zeigen.

[=Jägermeister=]

Ok aber die von dir genannten Vorteile von Xtravirt Virtual SAN sind ja unabhängig davon ob virtuell oder nicht. Du hättest deine Ubuntu-Installation ja auch direkt auf physikalisch Server installieren können und trotzdem alle Funktionen (heartbeat, drbd etc.) nutzen können.
Der Vorteil das ganze virtuell zumachen erschließt sich mir noch nicht ganz.
Den einzigsten Vorteil den ich sehe, ist das man theoretisch noch mehr VM´s mit auf den Server packen könnte. Aber da ich ja über jedes MB/s froh bin was ich mehr übers Netz zum SAN bekomm, schränke ich mich mit weiteren VMs ja nur weiter ein, da diese ja in der Regel auch eingen gewissen Netztraffic erzeugen.

[PANIC]

Vorteil von virtuell gegenüber physik ist ganz klar:

Traffic bleibt auf dem ESX Server und belastet nicht das LAN!

Zur Erklärung: jeder ESX greift immer nur auf die iSCSI VM zu die auf der Kiste lokal liegt.
Somit sehr hohe Performance.

Außerdem sparst du zwei physikalische Kisten und damit Kosten, Strom etc.

[bla!zilla]

Mit dem Xtravirt Virtual SAN, das auf Linux (CentOS 5, iSCSI Enterprise Target, Heartbeat 2 und drbd basiert)

Oh Gott, hört sich nach Bastellösung an. Eher mal in Richtung DataCore SANmelody oder LeftHand Networks gucken, wenn es schon Software sein muss.

[Darlin]

Xtravirt Virtual SAN wird laut dem englischen Vmware Forum auch nicht mehr weiterentwickelt. Und die Datacore/Lefthand Lösung wird auch nicht billig sein.

[Nukite2007]

Hallo,

also wir haben ca. 18.000 € für DATACore SANMelody bezahlt. Volumen auf 5GB netto begrenzt.

Wenn Ihr keine Hardware für die beiden SDS-Server habt, musst Du diese noch hinzurechnen. Wir haben ca. 5.000 € pro Server bezahlt.

Grüße
Peter

[bla!zilla]

Xtravirt Virtual SAN wird laut dem englischen Vmware Forum auch nicht mehr weiterentwickelt. Und die Datacore/Lefthand Lösung wird auch nicht billig sein.

Storage war nie billig.