Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
Power Host gesucht. Designvorschläge?
Power Host gesucht. Designvorschläge?
Hallo ESXler!
Es ist mal wieder soweit: Ein neuer Host muss her. Da es bekanntermaßen nie schnell genug sein kann, wollte ich hier mal nachfragen, was ihr euch so zusammenstellt.
Mein Vorschlag:
CPU: 2x Intel Xeon Processor E5-2697 v3 14C 2.6GHz - Viele Kerne und hohe Taktfrequenz
Memory: 512Gb mit 2133 MHz
Storage Anbindung: 2x 16Gb FC (FC ist gesetzt)
Network: 4x 10G (2x Management, 2x Produktivnetz)
Internes Storage: ??? Da bin ich auf eure Vorschläge gespannt. Es gibt ja einiges, was man als Nachbrenner einbauen kann: Von einer einzelnen SSD bis zur FusionIO-Karte.
Habt ihr noch weitere Anregungen? Was könnten weitere Handbremsen oder Beschleuniger sein?
Danke an alle!!
Es ist mal wieder soweit: Ein neuer Host muss her. Da es bekanntermaßen nie schnell genug sein kann, wollte ich hier mal nachfragen, was ihr euch so zusammenstellt.
Mein Vorschlag:
CPU: 2x Intel Xeon Processor E5-2697 v3 14C 2.6GHz - Viele Kerne und hohe Taktfrequenz
Memory: 512Gb mit 2133 MHz
Storage Anbindung: 2x 16Gb FC (FC ist gesetzt)
Network: 4x 10G (2x Management, 2x Produktivnetz)
Internes Storage: ??? Da bin ich auf eure Vorschläge gespannt. Es gibt ja einiges, was man als Nachbrenner einbauen kann: Von einer einzelnen SSD bis zur FusionIO-Karte.
Habt ihr noch weitere Anregungen? Was könnten weitere Handbremsen oder Beschleuniger sein?
Danke an alle!!
-
- Member
- Beiträge: 360
- Registriert: 13.07.2011, 15:33
MarcelMertens hat geschrieben:Was bringt einen ein "Power Host" wenn die anderen Hosts im Ausfall die Last nicht tragen können.
Hehe, das habe ich nicht gefragt
OK, was ich verheimlicht habe, es sind 4 von 8 Hosts im Cluster 1 und im Cluster 2 sind nochmal ein paar Server drin. Also die Last kriege ich schon verteilt.
@Martin: Haben die x3850 interne IO Karten, oder gehts direkt ans Storage?
P.S. Läuft alles auf einem aktuelle vSphere 5.5
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Ich mach ueber die Tage mal eine Testinstallation von PernixData Ihrem FVP. Die koennen Wahlweise Memory oder Flash als (R/W)Caching fuer VMs verwenden.
Ansonsten musst du ueberlegen was du mit der Fusion-IO machen wuerdest. Also Caching Device fuer VSAN sind sie ueberdimensioniert bzw. in VSAN 1.0 hat VMware noch ne Bremse drin. Je nach Verwendungszweck sind Micron/Intel PCIe-SSDs kostenguenstiger als Fusion-IO.
Der vFRC ist ja nur ReadOnly und da die Frage ob man Fusion-IO haben moechte an der Stelle. Gibt geruechte das vFRC sterben soll weil ja mit >= 6.0 so eine neue Filterschnittstelle kommen soll. Hier ist Fusion-IO einer von 2 Hauptmitentwicklern. Koennte also strategisch guenstig sein doch ne Fusion-IO zunehmen.
Gruss
Joerg
Ansonsten musst du ueberlegen was du mit der Fusion-IO machen wuerdest. Also Caching Device fuer VSAN sind sie ueberdimensioniert bzw. in VSAN 1.0 hat VMware noch ne Bremse drin. Je nach Verwendungszweck sind Micron/Intel PCIe-SSDs kostenguenstiger als Fusion-IO.
Der vFRC ist ja nur ReadOnly und da die Frage ob man Fusion-IO haben moechte an der Stelle. Gibt geruechte das vFRC sterben soll weil ja mit >= 6.0 so eine neue Filterschnittstelle kommen soll. Hier ist Fusion-IO einer von 2 Hauptmitentwicklern. Koennte also strategisch guenstig sein doch ne Fusion-IO zunehmen.
Gruss
Joerg
Danke Jörg für die Antwort.
Genau das ist mein Bedenken: Was bringt eine SSD-Karte und wie sieht die Zukunft aus?!?
Leider funktioniert vFRC - wenn ich mich recht erinnere - auch nur statisch und nicht dynamisch. Man muss also immer selber Hand anlegen, was gerade in gößeren Umgebungen doch viel Arbeit bedeuten kann.
vSAN kommt übrigens nicht in Frage. Evtl. bei mittelkleinen Außenstandorten, aber davon ist hier jetzt nicht die Rede
Genau das ist mein Bedenken: Was bringt eine SSD-Karte und wie sieht die Zukunft aus?!?
Leider funktioniert vFRC - wenn ich mich recht erinnere - auch nur statisch und nicht dynamisch. Man muss also immer selber Hand anlegen, was gerade in gößeren Umgebungen doch viel Arbeit bedeuten kann.
vSAN kommt übrigens nicht in Frage. Evtl. bei mittelkleinen Außenstandorten, aber davon ist hier jetzt nicht die Rede
PeterDA hat geschrieben:...
Meistens ist das Storage zu langsam.
...
Volle Zustimmung! Und somit sind wir wieder bei den internen Flash-Beschleunigern, mit denen ich aber überhaupt keine Erfahrung habe
CPUs: So schnell wie geht und viele Kerne
MEM: Möglichst viel mit hoher Taktrate
Simplivity & Co: Sind zwar schön, aber unser Storage ist gesetzt und läuft noch ein paar Jahre. (ca. 355TB). Deswegen wäre ja schön, wenn man das Storage intern beschleunigen kann. So würden ein großer Teil der Daten (-zugriffe) innerhalb des Hosts bleiben und nicht auf die Reise zum Storage gehen.
irix hat geschrieben:Dann willst du dir PernixData angucken!
...
Cooles Tool!
Kleine Anmerkung, die ich gefunden habe und manchen treffen könnte:
F: Mit welcher Speicherhardware arbeitet FVP zusammen?
A: PernixData funktioniert derzeit mit jedem blockbasierten Speicher-Array (Unterstützung für dateibasierte Speicherung folgt demnächst).
Gibt es schon Listenpreise?
Warum "gibt es schon"? Das Produkt ist schon seit einiger Zeit GA. Schicke diesem jungen Mann mal eine E-Mail: http://vtricks.com/ Er ist SE für die DACH Region.
Für mich klingen Deine Anforderungen zwar eher nach höher-professionell, aber es gibt auch noch eine Low-Cost quasi-Bastelvariante. Ich finde Sie klasse, weil es eben auch ohne LinkedClones, für alle VM's aufm Host sowie die IO-Writes klappt und die Komplexität ebenfalls komplett weg von der eigentlichen VM ist. Zudem brauchts nur eine Windows-Server-Lizenz welche oft eh mit Datacenter gewährleistet ist.
- Windows 2012R2 als Storage App
- LSI-SAS Adapter durchreichen (hatte noch nie Probleme mit Passthrough)
- Software RAID 1/10 auf die SSD's (eg Intel DC-3700) + Dedupe + Trim
- Evtl. Nutzung von RAM-Cache Feaures von Windows (Benötigt mindestens nen Single-Windows-Cluster VM)
- NFS an den Host
Anm: Habe noch in jedem Host ein paar Magnetplatten für das Backup. Auch per NFS angebunden, auf welches ich vom aktuellen sowie den anderen Host als zweites Ziel per Windows-Bordmittel sichere
Inwiefern man als Storage auch PCI-Express oder das neue NVMe Protokoll für SSD's nutzen kann, kann ich in Ermangelung von entpsprechendem Material nicht sagen. Dürfte aber aktuell sowieso deutlich teurer sein.
Zur Ausfallsicherheit:
Mit Stromausfällen, hart entfernten Festplatten oder Blockmanipulationen direkt auf der Platte bei Spiegelpartner mittels Hexeditor konnte ich die damalige Test-Umgebung unter Vollast nicht aus der Ruhe bringen. Keinerlei Korruption der Daten. Denke das liegt zum einen am neuen Filesystem von Windows sowie der Tatsache, dass die SSD's über Kondis verfügen welche die aktuellen Daten noch wegschreiben bei Stromverlust. Allerdings kam ich bei Intel 520er ohne Kondis zum gleichen Ergebnis. Habe nur File-Transfers und SQL benutzt. Kein Exchange. Exchange mag aber oft auch normale Hostabstürze nicht.
Der Flaschenhals dieser Lösung ist die CPU-Leistung der Storage-App. Allerdings nicht wie man vermuten würde wegen dem Software-RAID oder dem Dedupe, sondern wegen der virtuellen Netzwerkkarte. Zuweisung von zwei oder mehr Kernen multipliziert den Durchsatz wenn das Storage es verarbeiten kann.
Der Kernpunkt damit die Zugriffszeit und auch die IOPS hoch sind, ist eine zuverlässige und mehr oder minder gleichbleibende Zugriffszeit der verwendeten Einzel-Platten für das RAID. Mit Billig-SSD's oder Magnetplatten sinkt der Durchsatz extrem schnell.
Mein Fazit
- Excellentes User-Feedback --> Desktops so schnell/schneller wie daheim
- Rasend schnelle Restores
- Vergleichsweise niedrige Komplexität
- Keinerlei Komplexität in den eigentlichen VM's
Grüsse
Urs
- Windows 2012R2 als Storage App
- LSI-SAS Adapter durchreichen (hatte noch nie Probleme mit Passthrough)
- Software RAID 1/10 auf die SSD's (eg Intel DC-3700) + Dedupe + Trim
- Evtl. Nutzung von RAM-Cache Feaures von Windows (Benötigt mindestens nen Single-Windows-Cluster VM)
- NFS an den Host
Anm: Habe noch in jedem Host ein paar Magnetplatten für das Backup. Auch per NFS angebunden, auf welches ich vom aktuellen sowie den anderen Host als zweites Ziel per Windows-Bordmittel sichere
Inwiefern man als Storage auch PCI-Express oder das neue NVMe Protokoll für SSD's nutzen kann, kann ich in Ermangelung von entpsprechendem Material nicht sagen. Dürfte aber aktuell sowieso deutlich teurer sein.
Zur Ausfallsicherheit:
Mit Stromausfällen, hart entfernten Festplatten oder Blockmanipulationen direkt auf der Platte bei Spiegelpartner mittels Hexeditor konnte ich die damalige Test-Umgebung unter Vollast nicht aus der Ruhe bringen. Keinerlei Korruption der Daten. Denke das liegt zum einen am neuen Filesystem von Windows sowie der Tatsache, dass die SSD's über Kondis verfügen welche die aktuellen Daten noch wegschreiben bei Stromverlust. Allerdings kam ich bei Intel 520er ohne Kondis zum gleichen Ergebnis. Habe nur File-Transfers und SQL benutzt. Kein Exchange. Exchange mag aber oft auch normale Hostabstürze nicht.
Der Flaschenhals dieser Lösung ist die CPU-Leistung der Storage-App. Allerdings nicht wie man vermuten würde wegen dem Software-RAID oder dem Dedupe, sondern wegen der virtuellen Netzwerkkarte. Zuweisung von zwei oder mehr Kernen multipliziert den Durchsatz wenn das Storage es verarbeiten kann.
Der Kernpunkt damit die Zugriffszeit und auch die IOPS hoch sind, ist eine zuverlässige und mehr oder minder gleichbleibende Zugriffszeit der verwendeten Einzel-Platten für das RAID. Mit Billig-SSD's oder Magnetplatten sinkt der Durchsatz extrem schnell.
Mein Fazit
- Excellentes User-Feedback --> Desktops so schnell/schneller wie daheim
- Rasend schnelle Restores
- Vergleichsweise niedrige Komplexität
- Keinerlei Komplexität in den eigentlichen VM's
Grüsse
Urs
UrsDerBär hat geschrieben:- Windows 2012R2 als Storage App
- LSI-SAS Adapter durchreichen (hatte noch nie Probleme mit Passthrough)
- Software RAID 1/10 auf die SSD's (eg Intel DC-3700) + Dedupe + Trim
- Evtl. Nutzung von RAM-Cache Feaures von Windows (Benötigt mindestens nen Single-Windows-Cluster VM)
- NFS an den Host
Mein Fazit
- Excellentes User-Feedback --> Desktops so schnell/schneller wie daheim
- Rasend schnelle Restores
- Vergleichsweise niedrige Komplexität
- Keinerlei Komplexität in den eigentlichen VM's
Das sehe ich anders. Nested Storage birgt in meinen Augen immer ein Risiko und ich halte es für komplex. Ist bei Nutanix nicht anders (dort wird es ähnlich gehandhabt), allerdings haben die auch die ausgefeiltere Software darüber...
@blazilla: Natürlich ist es ein Risiko. So wie jedes zusätzliche Stück Software und Hardware. Die Frage ist nur, ist es kalkulierbar oder nicht. Ich konnte das für mich aufgrund der diversen exzessiven Tests bejahen. Am Ende muss es jeder selbst wissen und allfällige Fehler eben abfangen können. NTFS und mit ein paar wenigen Einschränkungen auch der Nachfolger hat sich seit Jahren bewährt. Für den Windows-Server ohne Zusatzsoftware gilt das genauso. Ich für meinen Teil halte MS-Server-Software für sehr ausgefeilt und es bietet eben alles dafür notwendige Out-Of-The-Box.
Wenn man ganz spitzfindig sein will, im Grunde ist es bei der Virtualisierung immer eine Art Nested Storage. Man schreibt innerhalb der VM, die IO's werden an den Host weitergegeben und dieser schreibt sie auf irgendwelche Datenträger irgendwo im Netzwerk. Ich will das ja auch nicht als DIE Lösung hinstellen, sondern eben als praktische mit überschaubaren Risiko mit viel Power ohne eine extrem teure Infrastruktur.
@stahly: Nun, die Writes müssen ja so oder so auf die SAN solange die OS-Daten/Disks da liegen. Meiner Meinung nach bietet es sich unter Umständen bei Desktops an, den Krempel komplett lokal zu haben und die SAN nicht damit zu füttern. Auf dem Host wird vorzugsweise READ's mit RAM und Writes mit Flash gepuffert oder bei Writes sogar Flash als Primärspeicher nehmen.
Wenn man ganz spitzfindig sein will, im Grunde ist es bei der Virtualisierung immer eine Art Nested Storage. Man schreibt innerhalb der VM, die IO's werden an den Host weitergegeben und dieser schreibt sie auf irgendwelche Datenträger irgendwo im Netzwerk. Ich will das ja auch nicht als DIE Lösung hinstellen, sondern eben als praktische mit überschaubaren Risiko mit viel Power ohne eine extrem teure Infrastruktur.
@stahly: Nun, die Writes müssen ja so oder so auf die SAN solange die OS-Daten/Disks da liegen. Meiner Meinung nach bietet es sich unter Umständen bei Desktops an, den Krempel komplett lokal zu haben und die SAN nicht damit zu füttern. Auf dem Host wird vorzugsweise READ's mit RAM und Writes mit Flash gepuffert oder bei Writes sogar Flash als Primärspeicher nehmen.
Apropos Power Host....
Wir werden künftig SAP + Oracle auf Linux machen, dafür soll wegen der Lizenzierung ein neuer kleiner VMware Cluster aufgebaut werden (zu Beginn 2 Hosts, später 4+). Ich bin noch am überlegen, was die geeignete Server Hardware dafür wäre, vor allem die CPUs.
4 Sockel Server werden gerade präferiert, ich bin ja eher ein Verfechter von 2 Sockel Systemen. Was den CPU Typ angeht steht der E7-4880 im Raum. Das wird teuer. Auf der anderen Seite haben wir noch kein Gefühl, was da auf uns zu kommt, bisher laufen Teile davon auf Itanium und HP-UX.
Was für CPUs haben denn von der Performance und Preis ein gutes Verhältnis aktuell?
Wir werden künftig SAP + Oracle auf Linux machen, dafür soll wegen der Lizenzierung ein neuer kleiner VMware Cluster aufgebaut werden (zu Beginn 2 Hosts, später 4+). Ich bin noch am überlegen, was die geeignete Server Hardware dafür wäre, vor allem die CPUs.
4 Sockel Server werden gerade präferiert, ich bin ja eher ein Verfechter von 2 Sockel Systemen. Was den CPU Typ angeht steht der E7-4880 im Raum. Das wird teuer. Auf der anderen Seite haben wir noch kein Gefühl, was da auf uns zu kommt, bisher laufen Teile davon auf Itanium und HP-UX.
Was für CPUs haben denn von der Performance und Preis ein gutes Verhältnis aktuell?
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 7 Gäste