Verständnisfrage zu vsa

[cibomato]

Hallo zusammen,

als 'arme' Schule hat unser Budget letztes Jahr gerade so mal für 2 Server mit dem freien vSphere-Hypervisor und ein IBM-DS3300 Storage (immerhin mit Dual-Controller) gereicht, welches nun mit seiner 1Gbit/s-iSCSI-Anbindung den Flaschenhals an Bandbreite bzw. I/O darstellt (und ein Upgrade ist mit der 3300-Serie nicht zu machen). An redundante Storages (für höhere Ausfallsicherheit) oder FC-Anbindung (für mehr I/O) war aus Kostengründen gar nicht zu denken.

Und nun höre ich von vsa: verstehe ich das richtig, dass damit die Storage-Redundanz erreicht werden kann, ohne dass man in mind. zwei teure Storages, entsprechende Switches und HBAs investieren muss???
Wie funktioniert das? Ist das technisch vergleichbar mit DRBD? Wird dabei auf die internen Platten der Hosts zugegriffen? Interne Platten als Storage würden dann ja auch die Bandbreite bzw. I/O gegenüber unserer iSCSI-Anbindung signifikant erhöhen, oder!?

Wo ist der Haken? Verstehe ich das falsch oder kosten die Lizenzgebühren evtl so viel, dass man sich fast o.g. Hardware-Zoo dafür leisten könnte?
Falls kein Haken, würde das für die nächste Servergeneration heißen: 2 Hosts mit ordentlich internem Plattenplatz, (vergleichsweise günstige) 10Gbit/s-Anbindung ins LAN und vsa drauf...

Bitte um Erhellung , viele Grüße,
cibomato

P.S.: Ich seh grade, das geht eh erst mit vSphere 5 aber das wird uns ja irgendwann (trotz neuer Lizenz-Policy) ereilen...

[echt_weg]

es werden tatsächlich die lokalen hdds genutzt und darauf eine storage appliance pro host installiert. die vms replizieren sich dann per lan untereinander.

was ich aber nicht verstehe ist, warum ihr eure ds3300 nicht auf eine 3400 aufrüstet und direct attached per fc zu den hosts geht?

[cibomato]

was ich aber nicht verstehe ist, warum ihr eure ds3300 nicht auf eine 3400 aufrüstet und direct attached per fc zu den hosts geht?

Wie gesagt wegen der Kosten. Ich habe das bereits damals dem Schulträger versucht zu erklären, dass wir besser gleich eine 3400 oder 3500 anschaffen sollten, um Spielraum für einen zukünftigen (FC-)Ausbau zu haben. Das wurde damals nicht genehmigt, da wir eh' schon knapp über dem Budget lagen.
Wenn ich jetzt komme und möchte die 3300 ersetzen (oder was meinst Du mit 'aufrüsten', kann ich die weiternutzen?), gehen die mir an den Hals, da ich ja zu dem Preis für eine leere 3400 noch FC-HBAs etc bräuchte, die auch ein paar Eurofünfzig kosten.

Wär' halt für die Zukunft nett, zu wissen, ob wir beim nächsten Mal (in 7 Jahren) gar kein dediziertes Storage mehr bräuchten oder ob wir mittelfristig durch einen Umstieg von der 3300 auf die internen Platten mit vsa sogar deutlich mehr Performance bekommen würden, ohne viel zu investieren.
In welchem Größenordnungsbereich liegen denn die Lizenzkosten für vsa für 2 Nodes etwa?

Danke und Gruß,
cibomato

[echt_weg]

deutlich mehr performance wird das eher nicht bringen mit der vsa..

zum upgrade: die DS3300 und DS3400 unterscheiden sich nur in den controllern und den lizenzen. es gab von ibm mal ein upgradepacket um von iscsi auf fc upzugraden (dabei wurden dann beide controller getauscht)

zu den hbas: es langt ja beiden hosts je einen dual-port hba zu spendieren. das ist kostentechnisch recht überschaubar

[cibomato]

deutlich mehr performance wird das eher nicht bringen mit der vsa..

Wie kommst Du zu der Annahme? Wegen der Abbildung in Software?
Na ja, mit der x3550 würden wir da irgendwann auch plattentechnisch an Grenzen stoßen (max. 6 HDDs).

zum upgrade: die DS3300 und DS3400 unterscheiden sich nur in den controllern und den lizenzen. es gab von ibm mal ein upgradepacket um von iscsi auf fc upzugraden (dabei wurden dann beide controller getauscht)

zu den hbas: es langt ja beiden hosts je einen dual-port hba zu spendieren. das ist kostentechnisch recht überschaubar

Das werd ich mal weiterverfolgen (gibt's das Upgrade auch mit 8Gb-FC?). Je nachdem, wieviel das alles zusammen kostet, besteht vielleicht irgendwann mal eine geringe Chance für so etwas. Unser Schulträger hat diesbezüglich zwar 0,0 Ahnung, meint aber leider trotzdem, entscheiden zu können, was denn nun notwendig und was 'nice to have' ist. So stuft er ein Netzwerkmonitoring mit Nagios z.B. als 'nice to have ein'.... (aber das ist eine andere Geschichte).

Danke und Gruß,
cibomato

[cibomato]

Argh, ich seh' gerade, dass allein ein einziger Dualport-4Gb-FC-Controller (IBM Brocade 59Y1993) ca. 2000.- kostet. Davon bräuchte ich dann aber zwei und dazu noch die zwei FC-Controller für das Storage. Da die ja bestimmt noch mehr als die FC-HBAs kosten, kommt mich diese Lösung auf >10.000 EUR. Fällt damit leider hundertprozentig weg.

Vielleicht doch die vsa-Lösung? Allein wenn die dann schonmal den doppelten Durchsatz im Vgl. zu der 1-Gb-iSCSI-Strecke brächte, wäre uns schon mal gedient!?

Any more thoughts?

Danke und Gruß,
cibomato

[Edit]: Hm, demgegenüber gibts den 8Gb-Dualport-FC von QLogic bei Amazon schon für <1000 EUR. Muss ich das verstehen?[/Edit]

[echt_weg]

8GB wäre eh total oversized. Ein 4GB DualPort FC HBA kostet von Qlogic mit IBM Label ca. 700 EUR, wa das Controllerupgrade kostet kann ich momentan nicht sagen.

Zur Performance der virtuellen Applicance:
Die Anbindung läuft per NFS was noch einmal mehr Overhead als iSCSI hat - da wirst du keine grossen Sprünge mit machen können....

Wie gross ist die DS3300 denn eigentlich, dass die Anbdinung nicht reicht (nur die Head mit 12 HDDs oder noch EXP3000 dran)?

Normalerweise begrenzen ja die IOPS und nicht die Bandbreite.....ist da evtl. auch einfach noch Optimierungspotenzial bei Euch? Oder anders gefragt: Wie ist das ganze konfiguriert? Einige Einstellungen lassen sich bei den DS3X00 nur per CLI absetzen (z.B. Stripeszie auf 512k usw)

[cibomato]

8GB wäre eh total oversized. Ein 4GB DualPort FC HBA kostet von Qlogic mit IBM Label ca. 700 EUR, wa das Controllerupgrade kostet kann ich momentan nicht sagen.

Na ja, wenn wir für wenig mehr Geld gleich 8 anstatt 4 Gbit/s bekommen könnten...

Zur Performance der virtuellen Applicance:
Die Anbindung läuft per NFS was noch einmal mehr Overhead als iSCSI hat - da wirst du keine grossen Sprünge mit machen können....

NFS!??? Oh je...

Wie gross ist die DS3300 denn eigentlich, dass die Anbdinung nicht reicht (nur die Head mit 12 HDDs oder noch EXP3000 dran)?

Nein, nur die Head. Da drin werkeln 5 SAS-Platten in 'nem RAID5. Die sollten doch eigentlich ein bisschen was wuppen können!?

Normalerweise begrenzen ja die IOPS und nicht die Bandbreite.....ist da evtl. auch einfach noch Optimierungspotenzial bei Euch?

Bestimmt gibt's da Optimierungspotenzial aber da stecke ich nicht so tief drin. Und die Firma, die uns das damals eingerichtet hat, glaube ich auch nicht...

Oder anders gefragt: Wie ist das ganze konfiguriert? Einige Einstellungen lassen sich bei den DS3X00 nur per CLI absetzen (z.B. Stripeszie auf 512k usw)

Ich weiß nicht genau, ob Du das meinst: in den beiden Hosts stecken je zwei NICs (Redundanz) für die iSCSI-Anbindung, leider keine HBAs. Diese sind mit zwei HP Procurve 2848 verbunden (Redundanz), auf denen wir für die iSCSI-Anbindung jeweils entsprechende VLANS angelegt haben. Und von dort geht's weiter auf die beiden Storage-Controller.
Also eigentlich haben wir dadurch von jedem Host 2-Gbit/s Richtung Storage, ich vermute aber, dass das wegen der ganzen "Multipathing-Failover-Geschichte" brutto dann nur 1 Gbit/s ist!?

Oder meinst Du was ganz Anderes?

Danke und Gruß,
cibomato

[echt_weg]

OK.........bei 5 HDDs macht es wenig Sinn über die Schnittstelle zwischen Host und Storage zu sprechen: Der Engpass ist zu 99% nicht in der Anbindung! Wie du richtig schreibst hast du pro Host theoretisch 2 GBit zur Verfügung (beim Zugriff auf verschiedene LUNs).

Bei 5 HDDs in einem Raid 5 (also bei 4 effektiv nutzbaren 15k HDDs) kannst Du froh sein, wenn du ohne Cache 800IOPS erreichst. Wenn davon noch eine Hotspare wegfällt wirds noch schlimmer. Maximaler Datendurchsatz liegt je nach Block und Stripesize zwischen 150 und 550 MB/s

Auch wenn das Thema nun von der VSA abdriftet:
Wenn Du Performanceprobleme mit der DS3300 hast mache folgendes:
- Siehe im Profile nach wie die LUNs konfiguriert sind und poste die wichtigsten Daten (Segment Size, Write Cache, Read Cache, Flush Cache Settings)
- Sehe nach ob Du Fehler auf den Drivechannels hast (Drive detected und Timeout Errors). Wenn da hohe Werte sind einmal speichern, zurücksetzen und nach einem Tag neu nachsehen. Wenn die Werte wieder steigen mach einen Call bei IBM auf
- Lass ein Performance-Script laufen - idealerweise sowas:

Code: Alles auswählen

on error stop;
set performanceMonitor interval=60 iterations=1440;
upload storageSubsystem file="c:\perf01.txt" content=performanceStats;

smcli [IP-Addr. Ctr.A] [IP-Addr. Ctr.B] -f perfmon.scr

In der perf01.txt kannst Du dann sehen wie es tatsächlich aussieht (leider nur Max und Kom-Werte aber als Anhaltspunkt ist das OK).

Meine Vermutung:
- zu wenig Spindeln
- ungünstige LUN-Settings