Power Host gesucht. Designvorschläge?

[stahly]

Hallo ESXler!

Es ist mal wieder soweit: Ein neuer Host muss her. Da es bekanntermaßen nie schnell genug sein kann, wollte ich hier mal nachfragen, was ihr euch so zusammenstellt.

Mein Vorschlag:
CPU: 2x Intel Xeon Processor E5-2697 v3 14C 2.6GHz - Viele Kerne und hohe Taktfrequenz
Memory: 512Gb mit 2133 MHz
Storage Anbindung: 2x 16Gb FC (FC ist gesetzt)
Network: 4x 10G (2x Management, 2x Produktivnetz)
Internes Storage: ??? Da bin ich auf eure Vorschläge gespannt. Es gibt ja einiges, was man als Nachbrenner einbauen kann: Von einer einzelnen SSD bis zur FusionIO-Karte.

Habt ihr noch weitere Anregungen? Was könnten weitere Handbremsen oder Beschleuniger sein?

Danke an alle!!

[MarcelMertens]

Was bringt einen ein "Power Host" wenn die anderen Hosts im Ausfall die Last nicht tragen können.

[Martin]

Wir haben gerade ein paar x3850 X5 in SAP HANA Konfiguration "geerbt", die reichen als ESXi Hosts für die nächste Zeit

[stahly]

Was bringt einen ein "Power Host" wenn die anderen Hosts im Ausfall die Last nicht tragen können.

Hehe, das habe ich nicht gefragt

OK, was ich verheimlicht habe, es sind 4 von 8 Hosts im Cluster 1 und im Cluster 2 sind nochmal ein paar Server drin. Also die Last kriege ich schon verteilt.

@Martin: Haben die x3850 interne IO Karten, oder gehts direkt ans Storage?

P.S. Läuft alles auf einem aktuelle vSphere 5.5

[Martin]

Die Systeme haben intern eine 1.2TB PCIe SSD Karte, aber ich habe zur Zeit auch noch keinerlei Performance-Anforderungen an die Umgebung

[irix]

Ich mach ueber die Tage mal eine Testinstallation von PernixData Ihrem FVP. Die koennen Wahlweise Memory oder Flash als (R/W)Caching fuer VMs verwenden.

Ansonsten musst du ueberlegen was du mit der Fusion-IO machen wuerdest. Also Caching Device fuer VSAN sind sie ueberdimensioniert bzw. in VSAN 1.0 hat VMware noch ne Bremse drin. Je nach Verwendungszweck sind Micron/Intel PCIe-SSDs kostenguenstiger als Fusion-IO.

Der vFRC ist ja nur ReadOnly und da die Frage ob man Fusion-IO haben moechte an der Stelle. Gibt geruechte das vFRC sterben soll weil ja mit >= 6.0 so eine neue Filterschnittstelle kommen soll. Hier ist Fusion-IO einer von 2 Hauptmitentwicklern. Koennte also strategisch guenstig sein doch ne Fusion-IO zunehmen.

Gruss
Joerg

[stahly]

Danke Jörg für die Antwort.

Genau das ist mein Bedenken: Was bringt eine SSD-Karte und wie sieht die Zukunft aus?!?

Leider funktioniert vFRC - wenn ich mich recht erinnere - auch nur statisch und nicht dynamisch. Man muss also immer selber Hand anlegen, was gerade in gößeren Umgebungen doch viel Arbeit bedeuten kann.

vSAN kommt übrigens nicht in Frage. Evtl. bei mittelkleinen Außenstandorten, aber davon ist hier jetzt nicht die Rede

[PeterDA]

Hi,
meiner Meinung nach sind die Hosts normalerweise schnell genug. Es muss halt genügend RAM drin sein. Meistens ist das Storage zu langsam.

Daher würde IC mir auch mal Simplivity anschauen. Und dann vielleicht noch einen Computer Host dazu hängen.

Gruss Peter

[stahly]

...
Meistens ist das Storage zu langsam.
...

Volle Zustimmung! Und somit sind wir wieder bei den internen Flash-Beschleunigern, mit denen ich aber überhaupt keine Erfahrung habe

CPUs: So schnell wie geht und viele Kerne
MEM: Möglichst viel mit hoher Taktrate

Simplivity & Co: Sind zwar schön, aber unser Storage ist gesetzt und läuft noch ein paar Jahre. (ca. 355TB). Deswegen wäre ja schön, wenn man das Storage intern beschleunigen kann. So würden ein großer Teil der Daten (-zugriffe) innerhalb des Hosts bleiben und nicht auf die Reise zum Storage gehen.

[irix]

Dann willst du dir PernixData angucken!

Wenn du magst koennen wir mal telefonieren oder wenn das Wetter am WE schlecht ist bekomme ich es zeitlich auch hininstalliert. Nen VIB pro Hosts und ein bisschen Windows Software fuer die Verwaltung und nach ein paar Klicks geht die Post ab.

Gruss
Joerg

[stahly]

Dann willst du dir PernixData angucken!
...

Cooles Tool!

Kleine Anmerkung, die ich gefunden habe und manchen treffen könnte:
F: Mit welcher Speicherhardware arbeitet FVP zusammen?
A: PernixData funktioniert derzeit mit jedem blockbasierten Speicher-Array (Unterstützung für dateibasierte Speicherung folgt demnächst).

Gibt es schon Listenpreise?

[bla!zilla]

Warum "gibt es schon"? Das Produkt ist schon seit einiger Zeit GA. Schicke diesem jungen Mann mal eine E-Mail: http://vtricks.com/ Er ist SE für die DACH Region.

[irix]

Mit dem Patrick hatte ich am Freitag nen Einzel Webinar. Seiine Firmen Mailadresse gebe ich gerne per PM weiter.

Gruss
Joerg

[stahly]

Danke für die PernixData Kontakte! Ich sammel noch ein wenig - Projektstart ist Q1 2015.

[UrsDerBär]

Für mich klingen Deine Anforderungen zwar eher nach höher-professionell, aber es gibt auch noch eine Low-Cost quasi-Bastelvariante. Ich finde Sie klasse, weil es eben auch ohne LinkedClones, für alle VM's aufm Host sowie die IO-Writes klappt und die Komplexität ebenfalls komplett weg von der eigentlichen VM ist. Zudem brauchts nur eine Windows-Server-Lizenz welche oft eh mit Datacenter gewährleistet ist.

- Windows 2012R2 als Storage App
- LSI-SAS Adapter durchreichen (hatte noch nie Probleme mit Passthrough)
- Software RAID 1/10 auf die SSD's (eg Intel DC-3700) + Dedupe + Trim
- Evtl. Nutzung von RAM-Cache Feaures von Windows (Benötigt mindestens nen Single-Windows-Cluster VM)
- NFS an den Host

Anm: Habe noch in jedem Host ein paar Magnetplatten für das Backup. Auch per NFS angebunden, auf welches ich vom aktuellen sowie den anderen Host als zweites Ziel per Windows-Bordmittel sichere


Inwiefern man als Storage auch PCI-Express oder das neue NVMe Protokoll für SSD's nutzen kann, kann ich in Ermangelung von entpsprechendem Material nicht sagen. Dürfte aber aktuell sowieso deutlich teurer sein.


Zur Ausfallsicherheit:
Mit Stromausfällen, hart entfernten Festplatten oder Blockmanipulationen direkt auf der Platte bei Spiegelpartner mittels Hexeditor konnte ich die damalige Test-Umgebung unter Vollast nicht aus der Ruhe bringen. Keinerlei Korruption der Daten. Denke das liegt zum einen am neuen Filesystem von Windows sowie der Tatsache, dass die SSD's über Kondis verfügen welche die aktuellen Daten noch wegschreiben bei Stromverlust. Allerdings kam ich bei Intel 520er ohne Kondis zum gleichen Ergebnis. Habe nur File-Transfers und SQL benutzt. Kein Exchange. Exchange mag aber oft auch normale Hostabstürze nicht.

Der Flaschenhals dieser Lösung ist die CPU-Leistung der Storage-App. Allerdings nicht wie man vermuten würde wegen dem Software-RAID oder dem Dedupe, sondern wegen der virtuellen Netzwerkkarte. Zuweisung von zwei oder mehr Kernen multipliziert den Durchsatz wenn das Storage es verarbeiten kann.

Der Kernpunkt damit die Zugriffszeit und auch die IOPS hoch sind, ist eine zuverlässige und mehr oder minder gleichbleibende Zugriffszeit der verwendeten Einzel-Platten für das RAID. Mit Billig-SSD's oder Magnetplatten sinkt der Durchsatz extrem schnell.

Mein Fazit
- Excellentes User-Feedback --> Desktops so schnell/schneller wie daheim
- Rasend schnelle Restores
- Vergleichsweise niedrige Komplexität
- Keinerlei Komplexität in den eigentlichen VM's

Grüsse
Urs

[bla!zilla]

- Windows 2012R2 als Storage App
- LSI-SAS Adapter durchreichen (hatte noch nie Probleme mit Passthrough)
- Software RAID 1/10 auf die SSD's (eg Intel DC-3700) + Dedupe + Trim
- Evtl. Nutzung von RAM-Cache Feaures von Windows (Benötigt mindestens nen Single-Windows-Cluster VM)
- NFS an den Host

Mein Fazit
- Excellentes User-Feedback --> Desktops so schnell/schneller wie daheim
- Rasend schnelle Restores
- Vergleichsweise niedrige Komplexität
- Keinerlei Komplexität in den eigentlichen VM's

Das sehe ich anders. Nested Storage birgt in meinen Augen immer ein Risiko und ich halte es für komplex. Ist bei Nutanix nicht anders (dort wird es ähnlich gehandhabt), allerdings haben die auch die ausgefeiltere Software darüber...

[stahly]

Interessante Ansätze!

Mir geht es aber speziell um den Host!

Das Storage selbst ist gesetzt und halbwegs performant.
(SVC > Flash > XIV + V7000)

Mir geht es darum, den Storage-Traffic erst gar nicht aus dem Host rauszulassen z.B. durch geeignete interne Flashlösungen.

[UrsDerBär]

@blazilla: Natürlich ist es ein Risiko. So wie jedes zusätzliche Stück Software und Hardware. Die Frage ist nur, ist es kalkulierbar oder nicht. Ich konnte das für mich aufgrund der diversen exzessiven Tests bejahen. Am Ende muss es jeder selbst wissen und allfällige Fehler eben abfangen können. NTFS und mit ein paar wenigen Einschränkungen auch der Nachfolger hat sich seit Jahren bewährt. Für den Windows-Server ohne Zusatzsoftware gilt das genauso. Ich für meinen Teil halte MS-Server-Software für sehr ausgefeilt und es bietet eben alles dafür notwendige Out-Of-The-Box.

Wenn man ganz spitzfindig sein will, im Grunde ist es bei der Virtualisierung immer eine Art Nested Storage. Man schreibt innerhalb der VM, die IO's werden an den Host weitergegeben und dieser schreibt sie auf irgendwelche Datenträger irgendwo im Netzwerk. Ich will das ja auch nicht als DIE Lösung hinstellen, sondern eben als praktische mit überschaubaren Risiko mit viel Power ohne eine extrem teure Infrastruktur.


@stahly: Nun, die Writes müssen ja so oder so auf die SAN solange die OS-Daten/Disks da liegen. Meiner Meinung nach bietet es sich unter Umständen bei Desktops an, den Krempel komplett lokal zu haben und die SAN nicht damit zu füttern. Auf dem Host wird vorzugsweise READ's mit RAM und Writes mit Flash gepuffert oder bei Writes sogar Flash als Primärspeicher nehmen.

[pirx]

Apropos Power Host....

Wir werden künftig SAP + Oracle auf Linux machen, dafür soll wegen der Lizenzierung ein neuer kleiner VMware Cluster aufgebaut werden (zu Beginn 2 Hosts, später 4+). Ich bin noch am überlegen, was die geeignete Server Hardware dafür wäre, vor allem die CPUs.

4 Sockel Server werden gerade präferiert, ich bin ja eher ein Verfechter von 2 Sockel Systemen. Was den CPU Typ angeht steht der E7-4880 im Raum. Das wird teuer. Auf der anderen Seite haben wir noch kein Gefühl, was da auf uns zu kommt, bisher laufen Teile davon auf Itanium und HP-UX.

Was für CPUs haben denn von der Performance und Preis ein gutes Verhältnis aktuell?