Neue Hardware für SAP Cluster

[pirx]

Bin gerade etwas überfordert mit den ganzen HW Optionen die sich mit den neuen HPE Serven anbieten. Für einen SAP Cluster sollen neue HPE Server beschafft werden. Aktuell verwenden wir 2690v4 CPUs mit 2,6Ghz. Im Angebot sind nun 5320 CPUs mit 2,2Ghz enthalten. Irgendwie gibt es keine passenden CPUs im Bereich 24/26 Cores mit mehr als 2,2GHz die nicht abartig teuer sind, oder übersehe ich was?

Bei den LAN Adapter haben wir aktuell Mellanox CX-4, jetzt wäre es CX-6 (MCX631102). In der Vergangenheit hatte ich mit mehreren Herstellen massiv Probleme mit deren Adaptern und es wurden auch einmal bei >100 Servern vom Hersteller die Adapter getauscht. Wie sind die Erfahrungen mit CX-6 Adaptern, bisher habe ich eigentlich nichts negatives zu Mellanox Adaptern gehört.

[irix]

Moin,

also 5320 ist ja wohl mal "Mittelklasse" mit viel gutem zureden. Reden wir ueber HANA oder 0815 SAP weil ich weis gar nicht ob die 53xxer zertifiziert sind. Hier sind fast nur 63xxer unterwegs und das schliesst die 63xxU mit ein.

Ob eine 200Gbit NIC dann zu nem 5320 passt musst du ja wissen Auch ich habe in all den Jahren bei jedem Hersteller schon mal Probleme gehabt. Wir bleiben aber letztendlich immer bei Broadcom oder Intel. Mellanox NICs sind doch jetzt nVidia oder?

Gruss
Joerg

[pirx]

Es ist nicht HANA, es sind alle anderen SAP Systeme die auf RHEL laufen. Wie kommst du auf 200Gb NIC, die Mellanox ist 25GbE. Ja, Mellanox gehört jetzt zu Nvidia. Wenn ich mir die Intel Liste anschaue, dann bleibt als preislich attraktive Alternative noch der 6336Y mit 2,4Ghz und 24 Cores.

[pirx]

Wir haben jetzt den 6336Y als Alternative genannt bekommen, der hat mit 2,4Ghz minimal höhere Frequenz. Wenn ich mir das Datenblatt anschaue, steht da dann:

Code: Alles auswählen

Anzahl der Performance-cores   8
Anzahl der Efficient-cores        16

Das sehe ich beim 5320 nicht. Bei den HANA Clustern haben wie 88er Xeons, hier ist das nicht notwendig. Aber 2,2Ghz vom 5320 kommt mir schon etwas niedrig vor.

Edit: P und E cores war in der Vergangenheit bei ESXi wohl nicht so gut, von daher weiß ich nicht ob das so eine gute Idee ist.

[pirx]

So, wir sind jetzt beim der Gold 6348 CPU hängen geblieben. Für einen nicht so großen Cluster mit 4 Hosts wollen wir auch die HW erneuern, aktuell sind 2 von 4 TB RAM belegt, das ganze ist ein Stretch Cluster. Wir wollen jetzt auf 6 TB gehen. Das führt bei einem 4 Host Cluster und 1,5 TB / Host zu einer unbalanced Konfiguration mit 12 DIMMs pro CPU, statt 16. 6 Hosts mit single CPU rechnen sich leider nicht, das ist 20% teurer und hätte weniger Cores, 8 statt 6 TB RAM im Cluster ebenfalls.

Wenn ich das richtig verstehe, wirkt sich eine unbalanced Konfiguration aber in der Praxis eher bei HCI aus, nicht bei Brot und Butter VMs?

[irix]

Da ja alle Memory Channels bestueckt (>= 8 pro CPU) sind sehe ich das nicht so schlimm mit den nur 12 DIMMs. Wir haben das oefter und auch richtige unbalanced Konfigs aus Kostengruenden .... am Ende merkts keiner.

Entweder hast du dich verschrieben oder ihr habt euch verrechnet was die 6 Einsockel angeht weil da verstehe ich nicht wieso 8TB raus kommen. Wenn das Ziel weiterhin 6TB pro Cluster sind dann haette jeder diese Hosts 1 anstelle von 1.5TB bekommen muessen was auch dann eine Balanced Konfig waere (64GB * 16). Kostentechnisch muessen es dann die 63xxU werden zusammen mit den eingesparte Lizenzen komme ich nicht auf 20% Mehrkosten zumind. in meinen vSAN Setups und Windows DataCenter.
Ja das mit den geringeren Cores ist so. Was ist denn an VM pro Hosts bzw. dessen vCPU<->pCPU Verhaeltnis angesetzt worden im Normal und Desasterfall?

Gruss
Joerg

[pirx]

Das war missverständlich. Die Optionen zu 4 x 1,5 TB sind:

- 6 x 1 x 6314U mit 1 TB
- 4 x 2 x 6348 mit 2 TB

Diese beiden Optionen liegen preislich ähnlich und 20% (15-20K€) höher als die 4 x 1,5TB. Die 8 TB werden aber in der Lebenszeit des Clusters niemals benötigt werden, die 6 Host Lösung hätte 192 Cores zu aktuell 216, die 4 Host Lösung 224. Die Einsparung ist hier relativ, bei ESXi müssen wir eh mit dem ELA aufpassen, bei Veeam sind wir auf VULs. Bei den OSn bin ich nicht sicher, denke aber Win ist per Core und RHEL per Instanz.

Das vCPU <-> pCPU Verhältnis ist aktuell unkritisch soweit ich sehe, auch bei Wegfall von 50% Compute. Knackpunkt ist das RAM. Deswegen auch min 6 TB.

Was mich interessieren würde, wie sieht es bei anderen mit LAN/FC Adaptern aus? Früher haben wir immer 2 x Dual Port LAN und 2 x Dual Port FC konfiguriert. Ich tendiere dazu nur noch jeweils 1 x Dual Port zu verwenden. Wenn ein Adapter ein Problem hat, zieht es of den Bus und den ganzen Server mit runter. Redundanz in Richtung Switch ist wichtig, daher auch Dual Port. Aber mehrere Adapter? Für was? Der Durchsatz einer Dual Port Karte im passenden Slot macht eh das Storage dicht... Habe ich was übersehen?

[pirx]

Noch ein Nachtrag.

Ich habe mir für andere kleinere Standorte mit 3-4 Hosts die Optionen...

- 1 x Gold 6312U (Single Socket CPU, 24 Cores @2.4Ghz)
- 2 x Silver 4314 (Dual Socket CPU, 16 Cores @2,4Ghz)

...angeschaut. Bzgl. der Kosten ist die Dual Socket Lösung ca.10% günstiger. Gold CPUs sind ja in einigen Punkten besser als Silber, dafür hat man dann am Ende (in dem Fall) aber weniger Cores und auch weniger Möglichkeiten was PCIe Steckplätze angeht.

Wie seht ihr den Einsatz von Silber Xeons?

[irix]

Ich kann mich nicht erinnern das XEON 43xx auf der SAP Liste stehen aber da vermute ich das in den Aussenstellen kein S4/HANA laeuft Des weiteren ist der Memorytakt geringer im Vergleich zu den 3200MHZ deutlich geringer und wenn ueberhaupt 4 bzw. 6 Kanal Speicherinterfacem, zumind. wenn es ein kleineres Server Modell in der Produktpalette wird.

ae mit den OCP 3.0 nun 4x25G realisiert werden koennen sowie noch 2x1GbE LOM reichen mir wenn da nur 2-4 PCIe frei sind. Wobei wenn es richtig um vSAN gehts dann muss man schauen ob der HBA sich einen nimmt.

Was die 6312U angeht so hab ich letzte Woche einen Kunde mit 6x Node vSAN Stretched Cluster beglueckt und der strahlt nun ueber beide Ohren.

Gruss
Joerg

[pirx]

Hier geht es nicht zwingend um vSAN -und definitiv nicht um SAP

Ich bin ja auch ein Vertreter von eher Gold als Silber Xeons. Auch wenn es nur singel Socket Systeme sind. Im konkreten Fall wären es 4 Server + IBM SVC. Mit 4 x 1 x 24 (6312U) sind es 96 Cores, mit 4 x 2 x 16 (4314) sind es 128. Die werden aber eher nicht benötigt. Viele schauen aber nur auf Cores und Frequenz.

Bei den PCIe Steckplätzen sieht es bei HPE DL380Gen10+ Servern aktuell so aus, dass mit einer CPU max 3 x PCIe + 1 x OCP möglich ist. Falls man mich nicht falsch informiert hat.

1x Boot PCIe NVMe
1x Dual Port FC HBA
1x Dual Port 10/25 GbE
1 x Quad Port 1 GbE

Das würde gerade so gehen, aber wir haben tatsächlich Situationen, wo einzelnen 1 GbE Ports für bestimmte VLANs zu bestimmten Switches gehen, die nicht im "RZ Verbund" sind, es Trunk mit tagging geht also nicht. Wenn sowas später benötigt wird, dann steht man blöd da.

[irix]

Hmmm... ja hier bei Dell waeren es wohl 4 Slots + OCP und LOM. Aber Boot 2xM.2 belegt da keinen und somit stehen zwei weiterere Slots fuer PCIe NICs zur Verfuegung. Halt mal schauen wie es bei HPE geloest ist.

Gruss
Joerg