ich lese bereits seit einigen Wochen die Beiträge im Forum und mache mich wo ich kann schlau um eine Lösung zu finden. Ich arbeite als Hiwi 2 Tage die Woche in einer kleineren Firma und bin für die Systemadministration verantwortlich. Mir wurde das Projekt der Virtualisierung unserer bestehenden Systeme (Produktivsysteme, Testumgebung, Server) zugeteilt.
Den alten Admin habe ich vor ein paar Monaten abgelöst. Ich bin im IT-Bereich nicht neu, aber im Virtualisierungsbereich kenne ich mich kaum aus (auch wenn ich eine Citrix Xen Server Version auf meinem N36l zu hause einsetze).
Im Moment ist es so das im Prinzip jeder Dienst, den wir anbieten auf einem eigenen Rechner/Server läuft, und das ganze massig Strom verbrät, vorallem da die Hardware nicht die neuste ist (mit Einschränkung).
Hosting:
Wir haben einen Hostingbereich in dem Dienste für externe Kunden gehostet werden, auch webseiten, aber eher spezielle Dienste, derzeit haben wir hierfür eine 3 MBit/s SDSL Leitung die bei 30% Auslastung schlummert, entsprechend auch die Server:
- 8x Customer Server (FTP, Glashfish Application Server, Apache) - Alles Ubuntu Server
- 1x DB (postgres SQL DB Server) - HP ML 370 G6 2x Quad Core 2,53 GHz Xeon 20GB RAM
Der DB Server hat etwa 30% Last und der RAM ist dauerbelegt, die anderen Server langweilen sich meistens und haben kaum Festplattenzugriffe.
Intere Server:
- 2x Windows 2003 R2 Server (PDC, BDC, DNS, LDAP, Dateiserver, Benutzerprofile,..)
- 1x Windows 2008 Server (Share Point Server)
- 1x Scalix Mail Server - Linux
- 1x OSM Geowebcache Server (teilweise recht rechenintensiv) derzeit i5-750
- 1x Debian Server (Wiki, SVN, etc)
- 1x Debian Server (Nagios)
Test Netz:
etwa 8 Server mit Glashfish instanzen, ein paar haben nur Windows XP installiert etc.
Wir haben ingsgesamt 22 Mitarbeiter (mich mit eingeschlossen) davon sind 10 Rechner Windows XP Rechner, der Rest sind Entwickler welche Linux einsetzen.
Wegen der Entwickler soll in Zukunft noch ein Terminalserver eingerichtet werden damit diese die Möglichkeit haben darüber auch eine Windows Umgebung nutzen zu können, des weiteren soll noch ein Exchange Server den bestehenden Scalix Mailserver ersetzen. Und es soll die Möglichkeit gegeben werden noch Luft nach oben zu haben für weitere VMs.
Die Punkte über die ich mir die meisten Gedanken gemacht habe waren das VM-Ware LIzenzmodell und die Festplattenanbindung um bei einer Anzahl von z.B. 30 VMs keine Latenzen bei Festplattenzugriffen zu bekommen.
Außerdem brauchen wir eine Möglichkeit ein idealerweise Versioniertes inkrementelles Backup zu erstellen.
Ich habe mich für folgende Lösung entschieden:
Zwei Dell Poweredge R720xd mit:
- 2x Intel Xeon E5-2660 2,2 GHz 20MB Cache (8Core + HT)
- 8x 16GB RDIMM (kein Low Voltage) 1600MHz = 128GB RAM
- Dual SD-Karte 2GB (für Hypervisor)
- Perc H710 512MB NV Cache
- 11x 600 GB SAS 6Gbit/s 10k 2,5" (2x Raid 5 + 1 Hot Spare für beide)
- 24x 2,5" SAS/S-ATA Backplane
- 2x 750W Netzteil
- Intel X520 DP 10Gb DA/SFP+
- Broadcom 5720 QP 1Gb Network Daughter Card
- iDRAC7 Express
Pro Server etwa 8400 EUR netto.
Dazu noch ein Dell PowerVault NX3200 TPRM Planar:
- 1x Xeom E5-2609 2,4Ghz 10MB Cache (4 Core)
- 8GB RAM
- 2x 300GB SAS 10k 2,5" HD Hot Plug FlexBay
- Perc H710 512MB NV Cache
- 5x 2TB NLSAS 7,2k 3,5" Hot Plug (Raid 5)
- Broadcom 5720 QP 1Gb Network Daughter Card
- Windows Server 2008 R2 x64
Preis bei 3999 EUR netto.
Dazu noch VmWare vsphere Essentials PLUS + 3 Jahre Subscription.
Preis bei 4200 EUR netto.
Dell ist bei der Software im Gegensatz zum Straßenpreis um 20% runtergegangen, bei den R720xd um 30% und bei dem PowerVault um 40% im Gegensatz zum Onlinepreis.
Wir haben ausgerechnet das wir mit einkalkuliertem Wachstum 4,2TB Speicher für alle VMs brauchen werden, mit der Option zum Upgrade die hier gegeben wäre. Die 10Gbit/s Verbindung ist für die direkte Kommunikation der Server untereinander gedacht. Ich wollte High Availability (HA) nutzen und ein Cluster aus den beiden Hosts machen, auch wenn ich weiß das ich aufgrund von Redundanz 50% des Speichers verliere. Die Quad Port Gigabit Netzwerkkarten dienen der Physischen Verbindung der Server nach "draußen", und zu dem Powervault. Auf dem Powervault soll eine Debian Server Version installiert werden, oder entsprechend einer Empfehlung von euch ein anderes Linux derivat (soll nur als File Server dienen). Die 2008 Lizenz wollte ich für das Vsphere VCenter bereithalten. Bei den Servern habe ich bewusst SAS Festplatten gewählt das diese mehr IOPS haben als bessere Desktop Festplatten (S-ATA WD Black etc.).
2x Raid 5 pro Server mit 4 Platten + 1 Parität und 1 als Hotspare falls in einem der beiden Verbünde eine Festplatte ausfällt. Ich weiß das die Paritäten auf alle Festplatten geschrieben werden, habe aber im Wiki gelesen das Raid 5 am besten mit einer geraden Anzahl an Festplatten + Parität am meisten Geschwindigkeit bei Lese und Schreiboperationen erziehlt (sofern die Dateien die geschrieben werden nicht sehr klein sind - wobei das relativ ist - aber ihr wisst was ich meine).
Somit erhate ich pro Raid5 Verbund netto 2,1TB nach Abzug von 30% wegen Paritätenbildung. Zusammen also 4,2 TB.
Im günstigsten Fall können also pro Verbund eine Festplatte ausfallen und das Raid bleibt funktional. Die kleine Arraygröße habe ich gewählt damit im Falle eine Rebuilds jenes schnell abgeschlossen ist, und nicht das gesamte Festplattensystem bei gleichzeitigen Zugriffen in die Knie geht.
Und durch HA erhalte ich zusätzliche Redundanz meiner Daten. Ist VmWare so "intelligent" und merkt das die Daten beim lesen auf beiden Hosts gleichzeitig vorhanden sind und erhält doppelte Lesegeschwindigkeit (änhlich Raid-0)?
Über ein Raid 10 habe ich nachgedacht, eben gerade wegen der enormen Geschwindigkeit. Raid 10 geht ab 4 Festplatten bei dem im eine Festplatte und im günstigsten Fall 2 Festplatten ausfallen dürfen, wobei ich in dem Moment kein Raid-1 zwischen den Raid-0 Verbünden mehr habe. So denke ich dass die Auftrittswahrscheinlichkeit des Worst-Case bei dem 2 Platten ausfallen die sich aufeinender Spiegeln um jedes Pärchen das ich an den 4er Verbund mehr dran hänge stark steigt. Bei 10 Festplatten also eine serh hohe wahrscheinlichkeit eines Ausfalls habe.
Die Wahrscheinlichkeit erhöht sich natürlich weiterhin da Festplatten aus der gleichen Charge vom gleichen Hersteller verbaut werden.
Ich denke ihr wisst worauf ich hinaus will.
Naja die VMs sollen Ihre Backups auf das PowerVault legen, und idealerweise VmWare Essentials Plus die VMs zusätzlich auf dem PowerVault sichern - nur weiß ich nicht was der Funktiosnumpfang von VmWare Essentials Plus in dem Bereich her gibt.
Dell wollte mir direkt eine eigene Backuplösung namens AppAssure Next Generation Data zum gleichen Preis wie VM-Ware Veam anbieten - allerdings kann ich nicht einschätzen, ob wir das wirklich brauchen werden, und welche besser geeignet wäre.
Ich denek mit der Festplattenanbindung sollte ich keine Probleme mit Zugriffszeiten haben (hoffe ich).
Gerade läuft auf allen wichtigen Servern eine Version von Dells Dpack welches CPU-Last, RAM Verbrauch, Netzwerkauslastung und Festplattenzugriffe loggt. In sofern werde ich Mitte nächster Woche etwa eine Ahnung haben, ob es gut ist bzw. reicht.
Eine Overkill Lösung ist gewünscht, übertrieben gibt es nicht, außer es ufert Preislich enorm aus (also SAN fällt raus FC sowieso und iSCSI kann ich nicht sagen ob sich das rechnet, da wir dann noch HBAs brauchen, daher dachte ich die Interne HDD Lösung inkl. Erweiterungsmöglichkeiten ist die Kostengünstigere Alternative). Gerade weil die 10GBe Intel Netzwerkkarten sämtliche Features unterstützen die ich benöitge um iSCSI performant nutzen zu können.
Wenn ich das VmWare Essentials Plus Paket richtig recherchiert bzw, verstanden habe:
- Installation auf max 3 Hosts mit je 2 CPUs (jede CPU mit n Physischen Kernen)
- unendlich V-RAM
- vMotion (verschieben von VMs von einem auf den anderen Host)
- VSA/HA Clustering mit Hochverfügbarkeit zusmmenfassen des gesamten im Cluster vorhandenen Speichers zu einem logischen - automatische Replikation der Festplatten zwischen den Servern, so dass bei Ausfall eines Servers der andere die ausgefallenen VMs startet und bereitstellt (vorausgesetzt auf dem anderen Server wurden entsprechende Rescourcen bereitgestellt/reserviert).
- Muss VCenter auf einem 2008 Server installiert werden?
- Was ist die Appliance?
- Ich habe von dem Henne-Ei Problem gelesen in Bezug auf VSA, ist das in Ver. 5.1 gelöst, bzw was bedeutet es und was muss ich zuerst installieren?
- Welchen Funktionsumpfang bietet mir die Backupfunktion von vSp Essentials Plus? Sind inkrementelle Backups der VMs Möglich?
- Was muss ich mir unter dem VM unabhängigen Virenscanner vorstellen?
- Kann ich eine Replikation der Hosts untereinander bzw. Kommunikation der VMs zwischen den Hosts überhaupt über eine 10GBe Verbindung erzwingen?
- Wird meine Dimensionierung der Raid Arrays reichen 20-30 unterschiedliche VMs pro Server zu bändigen?
- Könnt ihr ein gutes Buch zum Selbststudium von VM-Ware vpshere Essentials Plus empfehlen - im Sinne von Installation und Inbetriebnahme.?
- Was haltet ihr von PvV Convertierung, wieso ist davon bei Domänencontrollern auf Win2k3 abzuraten? Kann ich den DMS nicht auch einfach convertieren? (ich weiß eine Neuinstallation des AD-Servers bietet sich wegen auslaufendem Support an)
- geplant ist ein zukommen von 10 weiteren Entwicklern und etwa 10 zusätzliche Produktiv VMs in den nächsten 3 Jahren.
Was haltet ihr von meiner Idee? Was würdet ihr besser machen und warum? Ist meine Idee mit den zwei Raid5 Arrays in der Praxis performant? Sollte ich direkt die 1GB NV-Cache beim Raid Controller nehmen?
Sind HP Server günstiger zu bekommen - wenn ja welchen Distributor könnt ihr empfehlen? - Denn HP will trozu wiederhoiter Anfrage anscheinend nichts direkt verkaufen. (Ich mag HP eigentlich lieber, wenn auch Dell sehr gute Server herstellt).
Es tut mir leid das es so viel geworden ist, und das es irgendwie (leider) etwas unstrukturiert geworden ist. Es ist gerade deswegen so viel geworden, weil man zu diesem Thema, außer diesem Forum nichts hilfreiches im Internet findet. Außerdem habe ich es als schwer empfunden bzw. empfinde es als schwer Infos zu Vm-Ware zu erhalten, da z.B. die "Deutsche Hotline" auf Amerika umleitet und einem dort totz gute Englischkenntnisse keiner weiterhelfen will und auf die eben gewählte Hotline verweist. VM-Ware selbst reagiert auf Anfragen per E-Mail gar nicht.
Es scheint als sei das ein recht geschlossender Bereich, der vermutlich nur durch teuere Schulungen erkauft/erschlossen werden kann.
Ich freue mich um alle Tips/Ratschläge/Kritik die ich von euch erhalten kann, denn ich möchte eine Performante Lösung hinstellen bei der ich relativ ruhigen Gewissens schlafen gehen kann
