Neugestalltung der Serverlandschaft

[Pallando]

Hallo zusammen,

wir möchten unsere Serverlandschaft größtenteils virtualisieren.

Da wir ausschließlich Dell Server, Storage und USV verwenden, muss auch wieder Dell sein.

Es werden etwa 12 Virtuelle Maschinen unterschiedlichster Art, vom Terminalserver, über einen OCR Server, Datenbanken, DMS, Mail und Groupware erstellt.
Das alles läuft zur Zeit auf physischen Servern sowie einige wenige mehr oder weniger testweise auf ESXi 4 Essential auf einem Dell R710 und Dell 1950.
Als Storage haben wir aktuell einen Dell MD3000 + MD1000 mit 6 x 600 GB SAS 15k und 17 X 2 TB Nearline SAS 7,2k. und diverse Terrastation im Einsatz.

Das soll jetzt größtenteils in eine neue Virtuelle Umgebung rein.

Wir haben uns auf der Dell-Seite bereits umgeschaut und folgendes ausgesucht:

2 x
Dell R715 mit Opteron 6212, 2 x 8C, 2.6 GHz
64 GB 1600 Mhz RAM
2 x Broadcom NetExtreme II 5709 Quad Port with TOE & iSCSI Offload
2 x 2 GB SD-Karten

Keine Festplatten oder Raid drin, da nur über den MD Storage gearbeitet werden soll, wegen HA und vmotion.
Zwei Netzwerkkarten wegen Ausfallsicherheit und die Menge an Ports, um die iSCSI Ports von den vmotion/HA/Verwaltung und Ports für Virtuelle Maschinen zu trennen.

Als Storage soll eine neues MD3200i mit 2 Controllern und ein MD1200 dazukommen.
Festplatten sollen aufgeteilt werden in 600 GB 15k und 3TB Nearline SAS 7,2k
Es wären dann 24 3,5" Einschübe verfügbar.
Es wäre als 3. Server der R710 mit 2x4 Xeon und 32 MB RAM vorhanden.

Als vmware Version wollen wir vSphere 5 Essential Plus nehmen.

Meine Fragen:

1. Die R715 sind preislich wesentlich günstiger als ein R720, wobei müssen wir da Abstriche machen.

2. Sind die Broadcom Netzwerkkarten gut, oder sind die Intel besser. bzw. wo gibt es Unterschiede.

3. Sind 2 x 8 Kerne pro Server ausreichend? oder lieber die ca. 250€ mehr pro Server für den 12 Kern Opteron 6238 ausgeben? Es wären dann 2 x 8 x 2 = 32 Kerne verfügbar. Ich denke das ist ausreichen für die Anzahl der VM's.
Ich habe da leider keine Erfahrungswerte. Die Prozessorzuteilung ist doch nicht 1:1 sondern abhängig von der Leistungs-Anforderung des Servers und der Priorität, oder?
Ich meine damit folgendes:
Ich habe 2 Prozessoren mit je 6 Kernen = 12 Prozessoren für die VM's. Es gibt 7 Virtuelle Maschinen. Jede VM bekommt 2 oder 3 Prozessoren zugewiesen, was eigentlich mehr als 12 wären, es wird aber je nach Anforderung der Virtuellen Maschinen und nach Priorität die Prozessorleistung von dem Host an die VM's zugewiesen. Oder habe ich das falsch verstanden.
Mit dem RAM verhält es sich doch auch so, oder?

4. Aufteilung der Festplatten im neuen Storage. Die schnellen für die VM's und die langsameren 7,2k für die Daten, oder doch besser einige schnelle Platten für Daten?
Das ältere MD3000 wir dann zusätzlich als Datastore eingebunden und z.b. für Backup's oder sonstiges genutzt.
Ich habe bisher nur gelesen, dass wir Raid 6 und mehr als ein Raid erstellen sollen, um die Raids einem Controller zuweisen zu können.
Von den IOPS sind gerade beim Schreiben die 15k Laufwerke wesentlich schneller.
Auf den Langsameren würde ich z.B. die Daten des DMS legen, da dort an vorhandenen Dokumenten sehr selten Änderungen vorgenommen werden und mehr Dokumente gelesen werden, wie gespeichert.

So, das wären meine Ersten Fragen...
Da ich in diesem Thema sehr neu bin, bitte ich eventuelle blöde Fragen oder falschverstandene Dinge zu entschuldigen.

Gruß

Wolfgang

[PeterDA]

Hi,
also ich fang mal an:

1. Die R715 sind preislich wesentlich günstiger als ein R720, wobei müssen wir da Abstriche machen.

Bei den R715 handelt es sich um ein Modell was demnächst EOL ist da die neuen ja jetzt da sind. Ob du nun Intel oder AMD einsetzt ist meiner Meinung nach vor allem eine Geschmacksfrage. Ich persönlich bin ein Intel Freund. Ich würde mir allerdings überlegen ob ich Maschinen kaufen würde, die bald EOL sind.

2. Sind die Broadcom Netzwerkkarten gut, oder sind die Intel besser. bzw. wo gibt es Unterschiede.

Gerade bei der iSCSI Anbindung würde ich Intel NICs nehmen. Allerdings solltest du beachten, dass man bei Redundanteranbindung nur gleiche Typen zusammen in eine vSwitch stecken sollte. Was bei den R715 bedeutet, dass du Onboard auf jeden Fall Broadcom hast.

3. Sind 2 x 8 Kerne pro Server ausreichend? oder lieber die ca. 250€ mehr pro Server für den 12 Kern Opteron 6238 ausgeben? Es wären dann 2 x 8 x 2 = 32 Kerne verfügbar. Ich denke das ist ausreichen für die Anzahl der VM's.
Ich habe da leider keine Erfahrungswerte. Die Prozessorzuteilung ist doch nicht 1:1 sondern abhängig von der Leistungs-Anforderung des Servers und der Priorität, oder?
Ich meine damit folgendes:
Ich habe 2 Prozessoren mit je 6 Kernen = 12 Prozessoren für die VM's. Es gibt 7 Virtuelle Maschinen. Jede VM bekommt 2 oder 3 Prozessoren zugewiesen, was eigentlich mehr als 12 wären, es wird aber je nach Anforderung der Virtuellen Maschinen und nach Priorität die Prozessorleistung von dem Host an die VM's zugewiesen. Oder habe ich das falsch verstanden.
Mit dem RAM verhält es sich doch auch so, oder?

Hier gilt, das bei fast allen von uns CPU Leistung in einem Host nie ein Problem ist. Ich habe meine R720 jetzt mit 2x 6 Core CPUs ausgestattet (bedeutet das man mit HT dann pro Host 24 logische Prozessoren in VMware sieht) . Das reicht Dicke aus!
Du solltest auch beachten, dass es nicht immer Sinnvoll ist mehr als 1 vCPU in eine VM zu packen.

Zu deiner 4. Frage kann ich nichts sagen, da wir eine NetApp im Einsatz haben. Allerdings würde ich mir anstatt der MD3000 mal die EQL anschauen.

Gruß Peter

P.S. Tippe mal das Joerg auch gleich was dazu sagt!

[Supi]

Seit den Core i Nehalems kann AMD ja eigentlich nur noch über den Preis mithalten.
Zum Vergleich der Performance:
http://www.anandtech.com/show/5553/the- ... -servers/6
und der 6276 mit 2,3Ghz hat je 16 Kerne!

[irix]

..
Bei den R715 handelt es sich um ein Modell was demnächst EOL ist da die neuen ja jetzt da sind. Ob du nun Intel oder AMD einsetzt ist meiner Meinung nach vor allem eine Geschmacksfrage. Ich persönlich bin ein Intel Freund. Ich würde mir allerdings überlegen ob ich Maschinen kaufen würde, die bald EOL sind.

Ja ich sage gerne was Aber bin im Stress und somit kommt er Rest erst heute Abend

Waerend Dell immer zeitgleich einen Refresh macht wenn sich bei Intel was tut ist dem bei AMD nicht so. Obwohl am Anfang des Jahres andere Informationen verbreitet wurden bleibt es erstmal bei der Rx15 und somit 11. Generation. Es wurde gesagt das man den Fehler aus der Vergangenheit nicht wiederholen wolle aber wie es Ausschaut wird dem so sein.

Also ich habe hier einen Kunden der hat 19 AMD Hosts mit nun 4200/6200 Series sowie auch die alten 12c Interlagos. Ja sie funktionieren. Aber EVC Technisch haben uns die neuen 4200/6200 echt ein Bein gestellt

Gefuehlte 99.9 aller VMware Installation hab ich mit Intel. Was ich hier lokal in den RZs direkt bei uns betreue sind 100% Intel.

Gruss
Joerg

[irix]

..

1. Die R715 sind preislich wesentlich günstiger als ein R720, wobei müssen wir da Abstriche machen.

Nunja... AMD ist nunmal ein ticken guenstiger und ansonsten vergleichst du 11 gegen 12. Server Generations.
- Agentless Management (Auch Storage ist nun in der iDRAC sichtbar)
- PCIe direkt an die CPUs angebunden und somit extreme Performance Steigerung gerade was den Platten IO angeht
- Stromsparender
- Dual SDs
- Waehlbare Onboard NICs
- 7 PCI Steckplaetze
- 24 DIMMs

2. Sind die Broadcom Netzwerkkarten gut, oder sind die Intel besser. bzw. wo gibt es Unterschiede.

Da hat jeder so seine Vorlieben. Ich persoenlich mag die Intels lieber und ich versuche zumind. bei iSCSI dann nur gleiche Netzwerkkarten dafuer zu verwenden weil dann auch nur ein Treibermodul dafuer zum Einsatz kommt. In der 12. Generation sind die Intel teurer als die Broadcoms.

3. Sind 2 x 8 Kerne pro Server ausreichend? oder lieber die ca. 250€ mehr pro Server für den 12 Kern Opteron 6238 ausgeben? Es wären dann 2 x 8 x 2 = 32 Kerne verfügbar. Ich denke das ist ausreichen für die Anzahl der VM's.
Ich habe da leider keine Erfahrungswerte. Die Prozessorzuteilung ist doch nicht 1:1 sondern abhängig von der Leistungs-Anforderung des Servers und der Priorität, oder?
Ich meine damit folgendes:

Ja der Standard ist so wie du es beschreibst. Die CPU gibt Rechenzeit in Zeitscheiben welchen den Guest VMs dann zur Verfuegung gestellt wird. Wenn der Guest ueber Interrupts nichts anfordert kann er auch uebersprungen werden. Im Idealfall ist ja auch nicht jede VM richtig beschaeftig sondern die Langweiler liegen zusammen mit den Lasttraegern zusammen.

Du hast eine geringe Anzahl an VMs welche sich ja auch auf 2 oder mehr Hosts aufteilen. Ob 6 oder 8 Core macht hier ueberhaupt keinen Unterschied und fuer 12C haben die Server zu wenig Speicher. Deine angesetzten 64GB hatten wir hier schon in den alten PE1950/2950 und die R710 hatten dann 96GB. Unsere neuen R720 haben 256 und dazu 2x e5-2650 (8 core) wobei ich den Standard bei 16x8GB sehen wuerde.

Den lizensierten vSphere vRAM darf man aber nicht ganz aus dem Auge verlieren weil unter umstaenden kann man dann nicht seinen ganzen Speicher einbringen.

Ich habe 2 Prozessoren mit je 6 Kernen = 12 Prozessoren für die VM's. Es gibt 7 Virtuelle Maschinen. Jede VM bekommt 2 oder 3 Prozessoren zugewiesen, was eigentlich mehr als 12 wären, es wird aber je nach Anforderung der Virtuellen Maschinen und nach Priorität die Prozessorleistung von dem Host an die VM's zugewiesen. Oder habe ich das falsch verstanden.
Mit dem RAM verhält es sich doch auch so, oder?

Also bei RAM ist es anders gelagert. Der ESX hat ein paar Faehigkeiten um VMs in Summe mehr RAM zur Verfuegung zustellen als in Wirklichkeit da sind.
- TPS aka Transparent Page Sharing (Gleiche Speicherseiten erkennen)
- Balloning (GuestOS anweisen Speicher auszulagern)
- Compression
- Swapp on SSD
- Swapfile

4. Aufteilung der Festplatten im neuen Storage. Die schnellen für die VM's und die langsameren 7,2k für die Daten, oder doch besser einige schnelle Platten für Daten?
Das ältere MD3000 wir dann zusätzlich als Datastore eingebunden und z.b. für Backup's oder sonstiges genutzt.
Ich habe bisher nur gelesen, dass wir Raid 6 und mehr als ein Raid erstellen sollen, um die Raids einem Controller zuweisen zu können.
Von den IOPS sind gerade beim Schreiben die 15k Laufwerke wesentlich schneller.
Auf den Langsameren würde ich z.B. die Daten des DMS legen, da dort an vorhandenen Dokumenten sehr selten Änderungen vorgenommen werden und mehr Dokumente gelesen werden, wie gespeichert.

Ich persoenlich halte von RAID6 aus performance Gruenden nichts. Wir haben es in den Archiv oder auch mal Backup im Einsatz weil hier 2TB Platten drin stecken wo ein Rebuild durchaus mal etwas laenger dauern kann.


Das SAS Storage hat den Charm das es sehr direkt am Host haengt ohne Switche und es gibt da auch nichts zu tunen, einzustellen oder dergleichen. Das ist Plug&Play. Man muss halt nur wissen das die Kabellaengen sehr begrenzt sind und je nach Anbieter da bei 4 redundanten Anschluessen am Storage dann am Ende ist.

Wenn es denn unbedingt iSCSI sein soll dann unbedingt auch Equallogic mit angucken wobei das deutlich ueber der Powervault MD32x0i angesiedelt bzw. ein ganz anderes Konzept ist.

So.... da du uns nicht verraten hast wie deine R710 ausgestattet ist waere mein Vorschlag 2 neue Intel Hosts zukaufen und mit der R710 zusammen in einen EVC Cluster zutun. Das ganz dann an einem SAS Storage wobei ich "nur" 6 15K da etwas wenig finde. Du hast uns auch nicht veraten wieveil Kapazitaet du in Summe benoetigst.

Ob man ganz ohne lokalstorage planen sollte haengt davon ab ob man evtl. nicht Replikate mittels Veeam/Quest dort ablegt um den schrecken eines Storage Ausfalles zu mildern. Ersetzt kein Backup sondern ist Teil des DR.

Gruss
Joerg

[Pallando]

Hallo zusammen,

schon mal danke für die Antworten.

Bei den R715 handelt es sich um ein Modell was demnächst EOL ist da die neuen ja jetzt da sind. Ob du nun Intel oder AMD einsetzt ist meiner Meinung nach vor allem eine Geschmacksfrage. Ich persönlich bin ein Intel Freund. Very Happy Ich würde mir allerdings überlegen ob ich Maschinen kaufen würde, die bald EOL sind.

Das ist eine gute Information. Ich dachte die AMD Opteron 62xx wären eine neue Generation und die Dell R715-Server dann auch.
Oder sind nur die Prozessoren neu, aber der Server ist der "Alte", mit alten Chipsatz usw.

Gerade bei der iSCSI Anbindung würde ich Intel NICs nehmen. Allerdings solltest du beachten, dass man bei Redundanteranbindung nur gleiche Typen zusammen in eine vSwitch stecken sollte. Was bei den R715 bedeutet, dass du Onboard auf jeden Fall Broadcom hast.

Das mit den gleichen Netzwerkkarten habe ich schon in einem anderen Beitrag hier gelesen.

Hier gilt, das bei fast allen von uns CPU Leistung in einem Host nie ein Problem ist. Ich habe meine R720 jetzt mit 2x 6 Core CPUs ausgestattet (bedeutet das man mit HT dann pro Host 24 logische Prozessoren in VMware sieht) . Das reicht Dicke aus!
Du solltest auch beachten, dass es nicht immer Sinnvoll ist mehr als 1 vCPU in eine VM zu packen.

Ja, das habe ich auch öfter gelesen, das CPU nicht so wichtig ist.
Die Anzahl der CPU's pro VM's lässt sich ja ändern und ggf. Anpassen.
Ich hätte aber Grundsätzlich jeder VM's mind. 2 CPU gegeben. Aber deshalb frage ich ja hier

Nunja... AMD ist nunmal ein ticken guenstiger und ansonsten vergleichst du 11 gegen 12. Server Generations.

- Agentless Management (Auch Storage ist nun in der iDRAC sichtbar)

Da weiß ich nicht so recht, was das bedeutet bzw. welcher Storage gemeint ist.

- PCIe direkt an die CPUs angebunden und somit extreme Performance Steigerung gerade was den Platten IO angeht

Das wäre ein Punkt, der mich überzeugen könnte.

- Stromsparender

Nunja, nicht so wichtig bei dem Rest unseres Verbrauchs

- Dual SDs

Hätte der R715 auch ...

- Waehlbare Onboard NICs

Würde nur Relevant, wenn die Broadcom nicht verwendet werden würden.

- 7 PCI Steckplaetze
- 24 DIMMs

Sehe ich bei uns als unkritisch

Ich persoenlich halte von RAID6 aus performance Gruenden nichts. Wir haben es in den Archiv oder auch mal Backup im Einsatz weil hier 2TB Platten drin stecken wo ein Rebuild durchaus mal etwas laenger dauern kann.

Welchen Raid würdest du empfehlen und warum?

Das SAS Storage hat den Charm das es sehr direkt am Host haengt ohne Switche und es gibt da auch nichts zu tunen, einzustellen oder dergleichen. Das ist Plug&Play. Man muss halt nur wissen das die Kabellaengen sehr begrenzt sind und je nach Anbieter da bei 4 redundanten Anschluessen am Storage dann am Ende ist.

Das verstehe ich nicht, wie das gemeint ist. Das Storage, die Server und Switche werden in nebeneinanderliegenden Rack-Schränken eingebaut und die MD3200i hat 2x2 Anschlüsse + 2 Management Anschlüsse.

Wenn es denn unbedingt iSCSI sein soll dann unbedingt auch Equallogic mit angucken wobei das deutlich ueber der Powervault MD32x0i angesiedelt bzw. ein ganz anderes Konzept ist.

Ich denke das Equallogic ist dann nicht im Budget drin.

So.... da du uns nicht verraten hast wie deine R710 ausgestattet ist waere mein Vorschlag 2 neue Intel Hosts zukaufen und mit der R710 zusammen in einen EVC Cluster zutun. Das ganz dann an einem SAS Storage wobei ich "nur" 6 15K da etwas wenig finde. Du hast uns auch nicht veraten wieveil Kapazitaet du in Summe benoetigst.

Der R710 Hat 2 x Intel Xeon E5520 2,26 GHZ mit 32 GB RAM und 4 x 1GB Broadcom Netzwerkkarten
Für unsere Testumgebung haben wir noch:
R510 mit 1 x Intel Xeon X5650 2,67 GHz mit 32 GB RAM
R200 mit 1 x Intel Xeon X3370 3,00 GHz mit 8 GB RAM

Bei der Anzahl der schnellen Platten bin ich mir ja nicht sicher, die VM's sollten da alle liegen denke ich und bei den Daten weiß ich es nicht, bei welchen es sinn macht.
Die gesammte Kapazität ist noch nicht ganz klar, aber später ein weiteres MD1200 nachrüsten kann man ja immer.

@ irix, ich Antworte später auf deine PM.

Gruß

Wolfgang

[irix]

..
Oder sind nur die Prozessoren neu, aber der Server ist der "Alte", mit alten Chipsatz usw.

Korrekt. Neuer Kaiser in alten Kleidern oder wie das heisst. Ob sich nun am Chipsatz was getan hat muesste ich nachschauen... ich vermute fast nein aber auf jeden Fall ist dass drumherum "alt".

Die MD3220i hat nicht 2 sondern 4 iSCSI Ports Pro Controller. Aber darum gehts hier nicht. Es geht darum. Das SAS hat einige wahnsinnige geringe Latenz und dazu eine hohe Bandbreite. Aber dafuer halt ein bisschen unflexibel und es muss vorher klar sein das dies auch in 3 Jahren oder laenger kein Problem darstellt.

Deine R710 hat zwar eine "unbalanced" Memory Konfig aber das ist ja anpassbar genau wie das nachruesten einer Quad Port Karten sofern man das Konzept mit 3 Intel Servern ins Auge fasst.

Der Wechsel der CPU haette noch einen weiteren Nachteil. Je nach verwendeter Microsoft Lizenz wird eine Neuregistrierung faellig beim Umzug der VMs oder aber mal im DR Fall. Bei hoffentlich vorhandener Volumen oder Windows DataCenter Lizenz ist das allerdings kein Problem. Letzere will man eigentlich eh haben um vMotion und HA auch ohne schlechtes Gewissen nutzen zukoennen.

Gruss
Joerg

[PeterDA]

Hi,

irix hat Folgendes geschrieben:
- Agentless Management (Auch Storage ist nun in der iDRAC sichtbar)

Da weiß ich nicht so recht, was das bedeutet bzw. welcher Storage gemeint ist.

Joerg meinte damit, dass du auf dem Host keien OMSA Agents mehr installieren musst. Um die Ksite Managen zu können. Alles das was man bis G11 über den OMSA gemacht hat, geht jetzt sehr schön über die iDRAC Ent. Das hat auch den Vorteil, dass das Problem, das der OMSA Zugriff mit ESXi 5 Update 1 so Schneckenlangsam ist keine Rolle mehr spielt.

Beim Storage ist ein mögliche internes Storage gemeint!

Gruß Peter

[Pallando]

Hi,

irix hat Folgendes geschrieben:
- Agentless Management (Auch Storage ist nun in der iDRAC sichtbar)

Da weiß ich nicht so recht, was das bedeutet bzw. welcher Storage gemeint ist.

Joerg meinte damit, dass du auf dem Host keien OMSA Agents mehr installieren musst. Um die Ksite Managen zu können. Alles das was man bis G11 über den OMSA gemacht hat, geht jetzt sehr schön über die iDRAC Ent. Das hat auch den Vorteil, dass das Problem, das der OMSA Zugriff mit ESXi 5 Update 1 so Schneckenlangsam ist keine Rolle mehr spielt.

Beim Storage ist ein mögliche internes Storage gemeint!

Gruß Peter

Ich habe bei den Serverkonfiguratoren schön öfter iDRAC gelesen, aber nicht geschaut was das ist.
Ist da die Management Software enthalten oder geht das per Webzugriff auf jeden Server getrennt über die Managementschnittstelle.

Gruß

Wolfgang

[MarcelMertens]

iDRAC = integrated Dell Remote Access Controller

Das ist eine Remote Karte für KVM, Ein- Ausschalten, Virtuelles CD/DVD LW usw.
Ohne geht gar nicht

Was welche Version kann:
http://en.community.dell.com/techcenter ... nload.aspx
Seite 6. Ich würde immer den Enterprise nehmen, da die kleineren kein KVM können