SAN Virtualisierung in ESX als Doppel-Server

[klschneider]

Ich beschäftige mich seit einiger Zeit mit dem Entwurf eines Rechenzentrums für eine neue Firma. Das Gute dran ist, es müssen keine alten Systeme migriert werden.
Das Schlechte ist aber, es gibt bisher wenig Vorgaben und keine Ahnung, wie hoch die Rechnerlast sein wird.
Es werden max. 100 User im Netz sein, meist "Normaluser" einer kaufmännischen Abteilung.
Eingesetzt wird Email (Exchange/Outlook), MS Office und eine Kundendatenbank unter SQL.
Das Netzwerk ist 100MB am Arbeitsplatz und 1000 MB im Backbone, wobei max. 15 User an einem Etagen-Switch hängen.
Die Server sind alle mit 2x 1000 MB angebunden.

Genau hier setzt meine Frage an.
Geplant sind zwei redundante Server unter ESX 3.5 HA mit einem SAN unter Datacore melody. Die Rechner sollen mit 2x Quadcore Intel 2,5 GHz, 16 GB Ram und 1,8 TB internen SAS Festplatten bestückt sein. Auf jedem Rechner läuft dann unter ESX für alle Server die Windows Datacenter Lizens. Als Hardware sollen entweder Compaq DL385 oder Dell 2950 eingesetzt werden.
So ein ähnliches System wurde z.B angeboten von der Firma Wortmann als Terra Rechenzentrum.
Bei Datacore gibt es ein Dokument, welches die Konfiguration ganz gut beschreibt.
http://www.datacore.com/downloads/DataC ... Series.pdf
Leider gibt es dazu keine Performance-Aussagen und ich möchte hier mal anfragen, ob jemand so was schon in Betrieb hat.

K. Schneider

[PeterDA]

Hi,
ich kenne so eine Ähnliche Konfiguration 2x DELL 2950 und ein NetApp 2020 C mit SATA Platten. Die Server rennen wie die Sau. Habe noch nie Performance Probleme gesehen.

Das Useraufkommen ist ziemlich identisch.

Gruß Peter

[klschneider]

Hi Peter, danke für die schnelle Antwort.

Ich denke schon, dass die Server keine Performance-Probleme haben bei der doch noch geringen Last.
Das Konzept sieht ja vor, dass bei Ausfall eines Rechners der andere Rechner die VMs komplett übernimmt.
Aber im Gegensatz zu deiner Konfiguration mit der NetApp ( wie ist die angebunden, ISCSI oder FC? ) will ich interne Platten verwenden.
Ich dachte, SAS Platten sind schneller als SATA ( aber auch teurer ).
Läuft bei dir Datacore auf einer VM und die NetApp ist dort angebunden oder ist die NetApp das SAN für alle VMs?

gruss

Klaus

[klschneider]

Ich schiebe meine Frage mal wieder an.
Mittlerweile haben über 70 Leute hier reingeschaut, nur Peter hat bisher geantwortet.

Ist denn meine gewünschte Lösung so uninteressant oder so selten, dass keiner
dazu was sagen kann?
Immerhin kommt so ein System mit 2 x Servermit 2 x Quadcore, VMWare Infrastructure Standard HA für 4 Proc.,
2 x MS Server Datacenter, Datacore melody und 2 x 1,8 TB Platten auf ca. 50 k€.
Das ist kein Spielsystem mehr, da kann eine Firma mit arbeiten.

Ich hätte nur gerne mal vorher so was produktiv gesehen um vielleicht das Konzept zu optimieren.
Ich möchte ja nicht das Rad noch einmal erfinden.

mfg

klaus

[mangold]

ganz ehrlich?
bevor du 50k€ in den Sand setzt und hier in einem Forum fragst, solltest du jemanden suchen, der dich professionell betreut. Nichts gegen die Member hier, ich denke viele arbeiten gerade in so einem Umfeld als Berater, aber MIR wär das zu heikel, wenn ich mich nicht damit auskenne.

[klschneider]

Hi mangold,

bitte nicht falsch verstehen.
Ich will so was nicht selbst installieren. Da hole ich mir einen Systemintegrator. Und
vielleicht noch einen unabhängigen Berater dazu, um die Angebote neutral zu überprüfen.

Mich fasziniert halt die Lösung von datacore mit dem virtuellen SAN. Nun suche ich
Anwender, die so was haben, um mal zu hören, dass so was auch läuft.
Ich habe dann kein Problem, den Berater/Dienstleister, der das gebaut hat, auch zu beauftragen.
Bisher lese ich hier immer nur was, wenn etwas nicht funktioniert.


P.S. Ich habe auch von Wortmann ein Angebot über so ein System erhalten.


klaus

[chrish]

Also wir setzten hier auch Datacore Melody ein. Wir haben je einen SDS in einem Serveraum stehen. Bei uns befinden sich die Serverräume in getrennten Bauteilen
Je Serverraum 2 ESX.
Damit sind wir rundherum zufrieden. Mach aber nicht den Fehler das Du SATA Platten nimmst. Die waren bei uns zumindest für den Filecluster Bereich auf der Datacore zu lahm.

[mangold]

also ich kann nur dazu sagen, dass wir hier auch eine Storage Virtualisierung in Plnung haben. Neben Falconstore sieht die Datacore Lösung am vielversprechendsten aus, wobei letztere bei ähnlicher Funktionalität preislich günstiger ist. Da ich mit beiden Herstellern gesprochen habe, kann ich sagen, dass beide Hersteller von sich behaupten das beste Produkt zu haben und auch Gründe dafür haben, warum das jeweils Andere nicht das selbe leistet.

Was ich an DEINER Lösung nicht verstehe, ist die Aussage, dass du lokale Platten verwenden möchtest? Doch nicht zum hosten der VMs, sondern lediglich um die ESX Server zu booten? Ich hoffe ich verstehe das richtig, denn eine Storagevirtualisierung mit Sanmelody z.B. macht nur Sinn, wenn man auch ein redundantes San hat, also zwei SAN Köpfe und redundante FC Switche. Bei iSCSI wird es ähnlich aussehen.

[klschneider]

Hi mangold,

da hast du meine Konfiguration falsch verstanden.
Lies dir mal die Dokumentation von Datacore dazu durch:
http://www.datacore.com/downloads/DataC ... Series.pdf


Jeder Server hat lokale Platten, die in zwei RAIDs aufgebaut sind. Ein kleines RAID ist die
Bootplatte für ESX, das andere grosse Raid ist komplett zur VM mit Datacore gemapped.
Diese VM stellt dann intern den anderen VMs das SAN zur Verfügung.
Da zwei Rechner identisch aufgebaut sind, wird das SAN dazwischen gespiegelt.
Somit benötige ich keine extra Storage-Server.
Wenn ich dann noch das ISCSI Lan extern herausführe, kann ich bei Bedarf weitere Server
daran anbinden.
Die Idee dahinter ist ja gerade für kleine Firmen, die mit 5 - 6 Servern auskommen würden,
über VMWare und Datacore eine auch preislich interessante Alternative zu bieten.

mfg

klaus

[mangold]

ok, deshalb fragte ich, denn dieses Konstrukt ist mir so unbekannt gewesen. Kenne nur die "klassische" Storagelösung mit zwei physischen Storages und Datacore Servern. Aber man lernt nie aus.

[bla!zilla]

Warum willst du DataCore SANmelody in einer VM betreiben??? DataCore schlägt das vor, aber auch nur deshalb, weil Virtualisierung derzeit ein Hypethema ist. Ich bin selber DCIE und würde es keinem Kunden als Produktivsystem empfehlen. Warum Windows Server 2003 DataCenter?? Wozu willst du das Geld ausgeben?? Stell lieber zwei normale DL380 G5 oder DL385 hin, MSA60 oder MSA70 dahinter (P800 Controller, Dual I/O Modul für redundante Anbindung), schnelle SAS Platten rein (SATA ist near-online, nicht online!) und W2K3 Standard. 4 GB pro SDS sind ausreichend. SANmelody drauf und fertig. Je nachdem ob du iSCSI oder FC haben möchtest brauchst du entsprechend viele NICs. Best Practise ist: 2 NICs/ HBAs für Mirror, 2 NICs/ HBAs für Frontend, 2 NICs/ HBAs für Backend. Da dein Backend am P800 hängt, brauchst du nur eine zusätzliche Dual-Channel NIC oder zwei Dual-Channel HBAs. Ich bin selber DCIE und als Consultant viel im Storage-Umfeld unterwegs.

Spiegelung macht nur Sinn, wenn die Systeme auch geographisch verteilt sind. Spiegelung ist etwas, was mir dabei hilft meine MTTR nach einem Disaster zu reduzieren. Dazu musst du wissen, wie lange deine Anlage down sein darf.

Wie groß ist dein Budget? Und hol dir auf jeden Fall jemand rein, der das ordentlich macht. Sonst setzt du viel Geld in den Sand. Und dann wird es erst richtig teuer.

[Tschoergez]

Hi,

meines Wissen hat die Windows Datacenter Edition den Vorteil, dass unendlich viele Lizenzen für den Einsatz von Windows in VMs dabei sind....
(ich weiß das wurde hier schon mal diskutiert, bin grad zu faul für die Suchfunktion )

Das mit der Virtualisierung in der Virtualisierung würd ich so jetzt auch nur zu Testzwecken machen... Stell ich mir zum Troubleshooten recht unangenehm vor, weil nochmal ne Ecke komplexer ist.

Viele Grüße,
Jörg

[echt_weg]

ich find die idee für den produktiven betrieb schon alleine deshalb schlecht weil man nicht mehr nach lust und laune die esxe ausknippsen kann nachdem sie im maintenance modus sind sondern auch immer bedenken muss sich um die replizierung zu kümmern.

bei nem komplettausfall mußt dann erstmal die datacore vms hochfahren um danach den storage für die übrigen vms online zu haben......das wird alles kein spaß machen wenn man schnellstmöglichst das ding wieder zum laufen bekommen soll.

dann lieber die server ne nummer kleiner nehmen und dafür ein kleines storage dranhängen (mit wartungsverträgen damit man den ausfall vom komplettem storage darüber abdecken kann)

[bla!zilla]

Eines der schönsten Probleme bei der Virtualisierung: Selbst gebaute Abhängigkeiten die mir bei einem Ausfall das Genick brechen.

[Tschoergez]

Super!

Die beiden letzen Einträge bringen die ganze Diskussion definitiv auf dem Punkt!


Gut fürs Spielen, nicht wirklich toll für Produktion...

Viele Grüße,
Jörg

[klschneider]

Ich freue mich über eure Kommentare, die Breite Ablehnung macht mich nachdenklich.

Ich möchte auf einige Argumente eingehen:

Die Windows Datacenter Lizens macht Sinn, da diese pro Prozessor lizensiert wird.
Bei einer 2 Prozessor-Lizens pro ESX-Server ( 2xQuadcore CPU) kann ich beliebig viele virtuelle Server aufsetzen.
Weil ich alle Server virtualisieren möchte ( SDS, VC, DC, Email, TS, SQL, File, Web ), rechnet sich das.
Durch ESX sind die dann automatisch redundant über HA ( mit geringer Downtime, bei der kommenden Version 4 dann richtiger Paralellbetrieb ).
Zusätzlich sollte sich der Speicherbedarf verringern, da doppelte Speicherbereiche zusammengefasst werden.

Da alle VMs auch auf einem Rechner laufen können, kann für Wartung/Update der andere ausgeschaltet werden ( OK, dann ohne doppelten Boden ).

Beim Hochfahren sollte natürlich die VM für den SDS zuerst gestartet werden, ist aber nicht unbedingt nötig.
Da bei längerer Downtime eines SDS sowieso erst die Spiegelung upgedatet werden muss, greifen die VMs über das ISCSI Lan auf den anderen SDS zu.

Es gibt immer einen SPOF, und wenn es der Admin ist
Aber meiner Meinung nach ist es einfacher und preiswerter, eine Rechnerhardware ausfallsicher zu machen ( doppelte Netzteile/Lüfter,
Hardwareüberwachung, Kühlung, Brand-Früherkennung/-Löschsystem, USV), als mehrere verteilte Systeme.
Das gleiche gilt für die Datensicherung, besser was schnelles und zentrales, als verteilte Systeme.
Von Systemversionen und Patchlevels gar nicht erst zu reden.

Je nach Anforderung der Verfügbarkeit kann VMotion nachlizensiert werden, genau so wie weitere VMWare Rechner.
Dazu sind jeweils 10 GB Lan-Ports pro Rechner eingebaut.

Ich habe nochmal eine Zeichnung für die Hardwarekonfiguration beigefügt:
Da hier keine Attachments funktionieren, habe ich mal auf einen kostenlosen Webspace zurückgegriffen,
bitte die Werbeeinblendung zu entschuldigen.

http://remixshare.com/?file=08xeoizqor

Es sind natürlich mehr VMs pro Rechner, aber dann wird die Zeichnung noch unübersichtlicher.

Die Lan-Anbindung erfolgt redundant (2x GB) an zwei L3 Switche, die gleichzeitig als Backbone für die Etagenverteiler dienen.
Die Etagenswitche (L2) haben untereinander eine Verbindung über Spanning Tree und verkraften so den Ausfall eines
Core-Switches, genauso wie die Server.
Lediglich wenn ein Etagenswitch ausfällt, muss auf den anderen mechansich umgepatched werden.
Bei kritischen Benutzern kann aber hier auch Dual Homing für den PC eingerichtet werden.

Mich interessiert immer noch, ob jemand so einen virtualisierten SDS hat.
Als Beispiel hier einen Flyer von StepIT: http://remixshare.com/?file=ma4iwlmhur

mfg

klaus

[PANIC]

Hallo,

also cih finde deine Idee aus rein technischer Sicht sehr gut.

Ich arbeite selber gerade an einer ähnlichen Implemntierung für unsere Fillialen.
Als Vorbild habe ich mir allerdings Xtravirt's Virtual SAN genommen.

http://engineering.xtravirt.com/product ... l-san.html

Aktuelle habe ich die Scripte von xtravirt von Centos 5 auf Ubuntu 8.04 JeOS portiert.
(längerer Support, einfaches Update per apt, kernel optimiert für esx).

Der genau Aufbau ist ähnlich der von xrtravirt bis auf einige kleine Unterschiede.
Ich reiche eine SCSI Device an die VM durch anstatt dort schon ein VMFS anzulegen. Somit spare ich Overhead).
Die iSCSI VM wird als erstest gestartet und rescannt dann per ssh script oder rcli die storage damit die anderen maschinen gestartet werden können.

Läuft im Lab sehr gut auch beim "harten" ausmachen eines ESX.

Zu DRBD: WIr betreiben dies schon sehr lange produktiv (7.0.x bzw. jetzt 8.0.x) und hatten nie Probleme.

Die Datacore Lösung finde ich ansich ganz nett aber wie gesagt muss man einfach mal im Lap unter Last etc testen.

[bla!zilla]

Die Lan-Anbindung erfolgt redundant (2x GB) an zwei L3 Switche, die gleichzeitig als Backbone für die Etagenverteiler dienen.
Die Etagenswitche (L2) haben untereinander eine Verbindung über Spanning Tree und verkraften so den Ausfall eines Core-Switches, genauso wie die Server.
Lediglich wenn ein Etagenswitch ausfällt, muss auf den anderen mechansich umgepatched werden. Bei kritischen Benutzern kann aber hier auch Dual Homing für den PC eingerichtet werden.

Komische Konstellation. Normalerweise werden die Etagenswitches redundant an die Core-Switches angebunden, also Etagenverteiler einmal an Core-Switch 1 und einmal an Core-Switch 2. Zwischen den Core-Switches dann Trunks und VRRP. Somit spart man sich das umpatchen. Mit etwas Hirnschmalz kann man sich sogar (R)STP sparen, wenn man Routing zum Vermeiden von Schleifen nutzt.

[PANIC]

Mal nochwas...

Es gibt eine feritg Lösung von Lefthand Networks.

http://www.lefthandnetworks.com/vsa.aspx

Sieht attrativ aus und eben eine appliance.

[bla!zilla]

Jetzt von HP.

[klschneider]

hallo blazilla,

Danke für den Hinweis auf andere Produkte. Aber ich möchte Erfahrungen mit Datacore als virtuellem SDS wissen und nicht was es sonst noch gibt.

Zu der Frage mit den Anbindungen der Etagenverteilern. Das ist ein Ethernetring.
Ist hochausfallsicher, da bei Hardwareausfall immer noch ein Switch funktioniert.
Es gibt da spezielle Protokolle, die im Fehlerfall schneller als STP umschalten.
Nennen sich EAPS bzw. EPSR. Habe gerade einen aktuellen Artikel darüber gefunden, der das ganz gut erklärt:
http://www.lanline.de/articles/zuverlae ... en/&page=1

Es geht bei meiner Konstellation in erster Linie nicht um Geschwindigkeit ( na ja, GBit reicht ), sondern um Ausfallsicherheit zu vernünftigen Kosten.

mfg

klaus

[bla!zilla]

Na ja, wer es propretär mag, RFC hin oder her. Du redest von Umschaltzeiten un das alles wieder schnell online sein soll, und dann sowas:

Lediglich wenn ein Etagenswitch ausfällt, muss auf den anderen mechansich umgepatched werden.

Der Hinweis mit Lefthand bezog sich auf nicht auf deine "Lösung", sondern auf den Hinweis, dass es auch andere Hersteller gibt, nämlich LeftHand, nun HP. Darauf war mein Posting bezogen.

Es ändert aber alles nichts an der Tatsache das deine Lösung viel zu komplex und "gebastelt" ist. Ich sehe in der Lösung (Server, Storage, Netz) überhaupt gar keinen roten Faden. Du kannst das gerne so machen, das wird funktionieren. Fragt sich nur, wie das im Betrieb aussieht. Ich denke das Feedback, was du hier bekommen hast, ist eindeutig.

Ganz ehrlich: Ich würde das so nicht machen und auch keinem meiner Kunden dazu raten.

[CLSsupport]

@klschneider

Wie ging es nun weiter ? Was wurde getestet, umgeplant oder produktiv umgesetzt ?

[klschneider]

Habe lange nicht mehr hier mitgelesen.
Leider hat sich die Installation erst mal erledigt, weil die Firma aufgehört hat.
Es läuft noch eine Anfrage für eine Nachfolgefirma.
Ich starte erst wieder mit Planung und Anfragen, wenn das definitiv sicher ist.
Das Konzept soll aber mit Datacore umgesetzt werden, mittlerweile aufgrund der Anregungen aber mit getrennten Rechnern.


KS