VMware-Forum

Hallo zusammen,

wir haben derzeit zwei Hosts (IBM x3550 M2) per iSCSI an ein shared Storage (IBM DS3300 DualController) unter vSphere 4.1 (kostenloser Hypervisor) angebunden.
Demnächst steht ein Upgrade auf vSpehere 5 Essentials Plus an und gleichzeitig würde ich gern die Anbindung Server - Storage bezüglich Bandbreite/Performance verbessern, da ich hier - wenn nicht einen Flaschenhals, so doch Verbesserungspotential vermute. Nicht zuletzt, weil unsere 'liebe damalige' Firma uns damals die iSCSI-Anbindung über versch. NICs (Intel und Broadcom) mit der Begründung eingerichtet hat, dass z.B. bei einem Treiberproblem nur ein Teil der iSCSI-Strecke betroffen sei. Nun lese ich hier aber in anderen Threads, dass davon absolut abgeraten wird....!?
Die Anbindung Server - LAN soll dann gleichzeitig von 1Gbit/s auf 10 Gbit/s aufgerüstet werden, der Coreswitch kann das bereits.

Nun stellt sich die Frage, was hier vom Kosten/Nutzen-Verhältnis her am geeignetsten wäre (wir sind eine berufliche Schule und das Budget ist begrenzt):

1. Eine Anbindung direkt über SAS

Verspricht die geringste Verbesserung an Bandbreite, da es sich nur um 3 Gbit/s-SAS-Controller handelt, wäre aber vermutlich am günstigsten und - wie unsere jetzige Firma vermutet - die Latenzen wären am geringsten. Geht das so überhaupt? Brauchen wir dann nicht auch externe SAS-Adapter in den Hosts?

2. 10 Gbit/s iSCSI

Dazu müssten wir das Storage wechseln, da die 3300er das nicht unterstützt und auch auf Hostseite bräuchten wir HBAs oder zumindest neue NICs.

3. FC

Auch dazu bräuchten wir ein neues Storage und FC-HBAs. Wenn es bei zwei Hosts bleibt, könnten wir diese ja ohne FC-Switches anschließen, wenn ich das richtig verstanden habe?

Was meint Ihr dazu?
Könnt Ihr eine Hausnummer nennen, was uns die Lösungen 1-3 in etwa kosten könnten?

Vielen Dank für's Mitdenken und viele Grüße,

cibomato

Das mit den gleichen NICs fuer die iSCSI Storage Anbindung ist nur eine Empfehlung von einigen? (mir zumind.) hier im Forum. Wenn ich das auf SAS oder FC uebertrage dann kenne ich auch keine Installation wo Emulex oder Qlogic gemischt werden. Kann man machen... wenn man es vermeiden kann dann sollte man es tun.

Es ist nicht klar ob du deine vorhandene Umgebung aufruesten oder austauschen moechtest. Deine x3550 M2 Hosts sind 1HE Pizzaschachteln und geben nicht die optimale Anzahl an 2 FC oder SAS Kontrollern auf um dann nebenbei noch die benoetigte Anzahl an GbE Ports zu bieten. Bei 10GbE waere das anders weil man hier Storage und Netz gemeinsam transportieren koennte.

Deine DS3300 hat doch nur SAS Ports fuer Extensions oder? Dann kann es doch garnicht per SAS angeschlossen werden. IBM hat allerdings auch eine DS welche iSCSI und SAS hat.

Natuerlich muss der Hosts SAS HBAs haben. Genau wie auch bei einer FC Loesung. Was fuer ein Coreswitch hast du da und was bietet der an Frontend Ports in Anzahl und Type? (CX4, SFP+, BaseT)

Da heutige Server nun was CPU und Speicher angeht ein extrem breites Spektrum abdecken muesste man neben den Budget auch benoetigtes Memory, CPU und IOPS sowie Kapazitaet wissen. Also das was man erstezten muesste bzw. was in den naechsten Jahren dann als Wachstum hinzu kommen soll.

Ist 1GbE iSCSI wirklich das Bottleneck bei auch oder wie schauts aus wenn das Storage 4 anstelle von nur 2 Ports bieten wuerde. Ja SAS hat eine niedirige Latenz und ist in "statischen" Umgebungen eine echte Alternative bei sehr guter Performance.

Gruss
Joerg

Aus Kostengründen lieber aufrüsten als ersetzen, unser Schulträger würde mich steinigen, wenn ich ein 2 Jahre altes System (komplett) ersetzen wollte

Ja, die Steckplätze der 3550 sind sehr begrenzt, da müsste man schon genau planen, welche Karten da rein kommen, um immer noch genügend NICs zu haben. Oder man setzt evtl. VLANs auf ein- und derselben NIC in den nicht so kritischen Netzen ein (Management-Netz, WLAN etc).

Achtung, wir haben keine 3500 sondern die 3300 (leider hat's damals nicht zu mehr gereicht). Da stand was von SAS aber ob das nur für Extentions war oder daran auch die Hosts angeschlossen werden können.....? Sollte das nicht für den Anschluss der Hosts funktionieren, wären wir mit der 3300er ja eh am Ende der Möglichkeiten angelangt und bräuchten für alle 3 Szenarien ein neues Storage....

Coreswitch ist ein HP Procurve 5412zl, darin haben wir 2*10GE SFP+- Slots. Die sind aber für den Anschluss der Hosts ans LAN gedacht, nicht für die Storageanbindung.

Viele Grüße,
cibomato

Bei der DS hatte ich mich nur vertippt. Die 3300er sollte 2x iSCSI pro Controller haben. Der eine SAS Port ist fuer Erweiterung des Storage und nicht fuer den Anschluss von Hosts.

Ich frage nochmal ganz direkt.
- Was genau treibt dich nun dazu etwas aufzuruesten oder zuverbessern?
- Gibt es Resourcenmangel?
- Gibt es Performanceprobleme und wenn ja wo?

Die Hardware ist nunmal durch die Bauform eingeschraenkt und das Storage scheint eher Einstiegsklasse zusein. Das ist ja nichts schlechtestund im Normalfall aendert man ja auch nichtmal ebenso die Hostconnectivitaet. Es gibt natuerlich Systeme welche sich hier Auf und Umruestenlassen weil deren Konzept es von vorneherein vorsieht.

Fuer euren Schritt auf vSphere Essentials Plus kommt ja "eigentlich" nur vMotion dazu und das haette gerne redundantes und dediziertes 1GbE. Mit vSphere 5 kann die Redundanz auch zur Performancesteigerung verwendet werden.

Der Host muss eigentlich nur 8x 1GbE bereitstellen und gut ist. Mehr ist in meinen Augen nicht drin. Wenn am Storage was gemacht werden soll kostet es Geld und mehr als eine Erweiterung in Richtung Kapazitaet und bedingt in Richtung Performance ist da nicht drin.

Die Hosts per 10GbE anzuschliessen haette zwar einen Gewisssen Charm aber eine Rechtfertigung im Nachhinein gibt es auch hier nicht.

Gruss
Joerg

Hallo Jörg,

wir verteilen OS-Images an unsere Clients über ein Imaging-System vorm Server aus, das ist sehr I/O- und netzwerkintensiv.
Geplant war deshalb eigentlich von Anfang an eine durchgehende Bandbreite Storage - Server - LAN von mind. 4 Gbit/s, besser mehr.
Dazu hat das Geld seinerzeit nicht gereicht und wird es auch jetzt nicht, wenn wir eine komplette Neuanschaffung planen würden (was nach nur 2 Jahren aber eh utopisch wäre).
Deshalb mein Gedanke, nach und nach aufzurüsten (RAM, Platten und eben die Storage- und LAN-Anbindung). Wobei es einfacher ist, RAM und Platten nachzukaufen als jetzt z.B. das ganze Storage auszutauschen, was, sowie ich es verstehe, dann aber wohl notwendig wäre, egal ob SAS, 10GE iSCSI oder FC...

Konkrete Messwerte, wo etwas im Argen liegt, liegen nicht vor, dazu kenne ich mich auch zu wenig aus, rein theoretisch ist aber die Konfiguration, so wie sie jetzt ist, auf 1 Gbit/s beschränkt, was durch iSCSI-Overhead etc in der Praxis ja noch darunter liegt.

Update auf 5, um aktuell zu bleiben.

Essentials plus eben wegen vmotion und auch, um Veeam Backup&Replication zu verwenden (dieses setzt doch zwingend vCenter voraus?).

vSphere 5 Essentials Plus und Veeam war finanziell schon eingeplant, wenn wir hardwaremäßig nun für "kleines Geld" (kann ich momentan aber leider nicht genauer eingrenzen) eine deutliche Verbesserung erreichen könnten, wäre das super, mehr als ein paar Kiloeuro sind dafür aber sicher nicht drin.

Danke und Gruß,
cibomato

cibomato hat geschrieben:Hallo Jörg,

wir verteilen OS-Images an unsere Clients über ein Imaging-System vorm Server aus, das ist sehr I/O- und netzwerkintensiv.
Geplant war deshalb eigentlich von Anfang an eine durchgehende Bandbreite Storage - Server - LAN von mind. 4 Gbit/s, besser mehr.
Dazu hat das Geld seinerzeit nicht gereicht und wird es auch jetzt nicht, wenn wir eine komplette Neuanschaffung planen würden (was nach nur 2 Jahren aber eh utopisch wäre).
Deshalb mein Gedanke, nach und nach aufzurüsten (RAM, Platten und eben die Storage- und LAN-Anbindung). Wobei es einfacher ist, RAM und Platten nachzukaufen als jetzt z.B. das ganze Storage auszutauschen, was, sowie ich es verstehe, dann aber wohl notwendig wäre, egal ob SAS, 10GE iSCSI oder FC...

Also dein Storage hat 5x SAS15k im RAID5. Geht da noch eine Hostspare ab oder verbleibt es bei den 4 Spindeln Netto? Die Storage Controller haben nur 512MB und mit Pech zwackt sich das OS auch noch was ab.

Da du Images verteilst wuerde ich vermuten der IO ist mehr sequentieller Natur und nicht Random so wie in "normalen" Virtuellen Welten wo sich viele VMs den Storage teilen mit ganz unterschiedlichen Anforderungen.

Konkrete Messwerte, wo etwas im Argen liegt, liegen nicht vor, dazu kenne ich mich auch zu wenig aus, rein theoretisch ist aber die Konfiguration, so wie sie jetzt ist, auf 1 Gbit/s beschränkt, was durch iSCSI-Overhead etc in der Praxis ja noch darunter liegt.

Nun herausbekommen muss man ob das Netwerk des GuestOS bzw. des Hosts der Bottleneck, IO des Storage oder die Storage Anbindung.

Ich wuerde mir mal ein extop zu Gemuete fuehren und die Performance Daten des vCenter sofern denn schon vorhanden.

Und um das Storage evtl. mal herauszunehmen aus der Gleichung wuerde ich den Image Server mal mit mehr vMem ausruesten und das Image in eine RAM Disk kopieren und dadraus ausliefern lassen. Es stellt sich die Frage was an LoadBalacing Policy gewaehlt ist. Wenn es der Default ist dann waere hier ein weiter 1GbE Bottleneck.

Nun verstehe ich auch deinen Wunsch was die 10GbE Anbindung angeht und das kann dann schon Sinnvoll sein.

Ist es die Storageanbindung und ist es nicht Moeglich hier was zu veraendern dann wuerde ich Localstorage in Erwaegung ziehen.

Update auf 5, um aktuell zu bleiben.

Essentials plus eben wegen vmotion und auch, um Veeam Backup&Replication zu verwenden (dieses setzt doch zwingend vCenter voraus?).

Nein setzt es nicht. Fuer die Veem Essentials Enterprise Promo seit ihr nun zuspaet weil die ist gerade ausgelaufen. Hinzu kommt das Veeam eine Preiserhoehung angekuendigt hat.

vSphere 5 Essentials Plus und Veeam war finanziell schon eingeplant, wenn wir hardwaremäßig nun für "kleines Geld" (kann ich momentan aber leider nicht genauer eingrenzen) eine deutliche Verbesserung erreichen könnten, wäre das super, mehr als ein paar Kiloeuro sind dafür aber sicher nicht drin.

Danke und Gruß,
cibomato

Gucken wo der Bottleneck ist versuchen diesen aufzuheben.
- 5 Disks sind nun nicht der "Wahnsinn"
- Falsche iSCSI Konfiguration kann ein Problem sein. Evt. kann eine Verbindung aus dem GuestOS heraus etwas mehr Performance herausholen
- 1GbE Netzanbindung des Guest ist auch schnell ein Bottleneck bei deinem Anwendungsfall

Gruss
Joerg