iSCSI Storage zu langsam.

[Nepokat]

Ich habe einen ESXI Server von FSC und eine iSCSI Terastation Storage, der ESXi verfügt über 2 GBit Netzwerkkarten die auf einem GBit Switch münden, an dem auch der Storage hängt. Sobald ich auf der virtuellen Maschine Festplattenspeicher intensive Programme ausführe geht fast nichts mehr. Jetzt habe ich mal einen Festplatten Test auf dem VM installiert um den Daten Durchsatz zu ermitteln und bin fast vom Hocker gefallen. Entweder habe ich einen Riesen Fehler in den Einstellungen gemacht oder etwas stimmt nicht mit dem iSCSI. Würde mich freuen wenn jemand das mal bei sich auf einer VM testen kann, damit ich einen vergleichswert habe.

Das ist meine VM auf dem ESXi


Und das ist mal meine Notebook Festplatte

[Tschoergez]

naja, was für platten/controller/RAID-level hat denn Dein storage system?
am iSCSI protokoll liegts eher nicht, eher am langsamen storage system.

Wie ist Dein Netzwerk auf dem ESX konfiguriert, passt da alles (loadbalancing usw.)?

Viele Grüße,
Jörg

[Dayworker]

Naja wenn die Ankündigung in der Computerwoche stimmt und Du das gleiche Gerät meinst, muß das so lahm sein.
Einen Test gibts bei tecchannel. Hier die zitierte Kurzfassung:
...
Buffalo TeraStation Pro II – 1 TByte NAS
..
Anschluss finden die vier in Wechselrahmen gebetteten SATA-II-Festplatten an einem Marvell 88SX6042 mit vier Serial-ATA-II-Ports. Der Chip beherrscht keine RAID-Funktionalität, Buffalo setzt somit auf die Software-RAID-Funktionalität des Betriebssystems. Die erforderliche Rechenleistung übernimmt bei der TeraStation Pro II ein Marvell 88F5BF01 C500 SoC ARM9E-Prozessor mit 500 MHz Taktfrequenz.
..
Max. Netbench-Durchsatz RAID5 58 Mbit/s
...

[Nepokat]

Hy, wo kann ich denn die Einstellungen für "loadbalancing" setzten? Ich dachte, dass es automatisch geregelt wird sobald man eine zweite Netzwerkkarte für "loadbalancing" auf der Konsole frei schaltet.
So schaut es bei mir im Moment Netzwerktechnisch aus:


Die Buffalo hat leider nicht viele Einstellungsmöglichkeiten, nur in einem Punkt bin ich mir nicht sicher:

Werden Jumbo Frames von dem ESXi unterstützt?
Und ich habe ein RAID5 Set auf der TS-RIGL/R5 2TB.

[Tschoergez]

Hi,

erstmal: Der ESX nutzt noch keine Jumbo-Frames für iSCSI, und die loadbalancing einstellungen finden sich in den Settings vom virtuellen Switch. Allerdings wird sowieso nur eine NEtzwerkkarte genutzt für den iSCSI-Traffic, egal in welcher Einstellung.

Aber ich glaube nicht, dass das Problem an der Netzwerkperformance liegt. Wie ist denn die maximale Geschwindigkeit, wenn Du von nem anderen Rechner aus auf die Kiste schreibst?

Viele Grüße,
Jörg

[spfeiffer@rbc-gmbh.de]

wie wäre denn der Ansatz wenn du das STorage in einem Seperaten Lan (z.B. per CRossover Kabel) an eine der beiden Netzwerkkarten anbindest.

Somit hast du den Netzwerktraffic vom iscsi trafic separiert und die müssen nicht beide duch den flaschenhals switch.

[Nepokat]

Meinst du mit Flaschenhals den Physikalischen Switch oder den Software ESXi Switch?
Was ist denn besser, 2 Netzwerkkarten zu einer zusammenfassen und das Load balancing und die dadurch resultierende Redundanz nutzen, oder doch lieber eine Netzwerkkarte für das Storage und eine Netzwerkkarte für die Anbindung ans LAN oder WAN ?
Womit habe ich in Endeffekt den meisten Datendurchsatz?

Danke nochmal für die Antworten.

[Tschoergez]

Hi,

ich denke, Dein Flaschenhals ist nicht das NEtzwerk.... (und das auf dem ESX auf keinen Fall). Redundanz hättest Du bei zwei NICs auf dem vSwitch, aber keine höhere Bandbreite.
Hast Du von nem anderen System mehr perfomance beim Schreiben auf das Target?

Grüße,
Jörg

[Nepokat]

Da stimmt etwas auf jeden Fall nicht.
Ich habe schon die ganze Zeit so eine Vermutung gehabt, dass alles irgendwie zu langsam läuft wenn man bedenkt, dass alles GBit LAN ist.
Jetzt habe ich mal via. VM Explorer Daten von dem einen ESXi iSCSI Datastorage zu dem anderen ESXi iSCSI Datastorage geendet.

ESXI1/iSCSI -> ESXI2/iSCSI = 2-3 MB/S
ESXI1/iSCSI -> Lokaler Rechner/RAID10 = 6-7 MB/s

Aber ich finde den Fehler nicht.

iSCSI = Display sagt Gbit
ESXi Software und netzwerkkarten LED = Gbit
Switch = auf jedem Port Gbit LED an

Also Physikalisch ist alles soweit richtig, jetzt kann es ja nur noch eine Einstellungssache sein.

[nwoehler]

Hallo Nepokat,

leider muss ich dich enttäuschen. Dass man von einem Datastore in den anderen nur mit wenigen MB/s schieben kann, ist laut VMware scheinbar normal. Ich hatte hier mit einem sehr ähnlichen Problem zu kämpfen. Auch alles sehr langsam. Inzwischen weiß ich, dass es am iSCSI-Storage lag. Hatte damals normale Hardware mit nem Raid-Controller genommen, darauf FreeNAS laufen gehabt und dachte das würde reichen. Mitlerweile habe ich hier nen Storage-System mit fettem Raid-Controller, schnellen Festplatten und als iSCSI-Target benutze ich SANmelody. Ich muss sagen - die Geschwindigkeit ist echt enorm gestiegen. Werte kann ich dir auf die schnelle allerdings keine nennen.

Vielleicht solltest du dich von deinem "Spiel-Storage" verabschieden und etwas vernünftiges zulegen. Auch ich musste hier intern des öfteren das Thema ansprechen, bevor die Chefetage zugestimmt hat - aber siehe da, das neue Storage bringt die erhoffte Leistung.

Des Weiteren würde ich dir raten, dass du eine Netzwerkkarte für dein internes LAN nutzt, die andere für ein reines Storage-Netzwerk, was du entweder per Crossover-Kabeln aufbaust (vorrausgesetzt du hast im Storage genug Netzwerkkarten) oder an einem eigenen Switch/VLAN betreibst. Ich habe mich für letzteres entschieden. Auf dem GBit-Switch für das Storage-Netzwerk ein eigenes VLAN eingerichtet und schon habe ich den aufkommenden Datentransfer getrennt von einander laufen. So stören sich beide "Dienste" auch nicht.

Gruß Nils

[irix]

- bei gigE brauchts kein klassisches Crossoverkabel
- Sofern dein ESX Host mehr als ein Interface hat sollte ein oder mehr davon nur fuer das Storage benutzt werden und nicht duch LAN oder Management Traffic gemindert werden
- Sofern man sein LAN am selben physikalischen Switch wie sein iSCSI betreibt ist dies durch vLANs zu separieren
- Wie bereits angedeutet werden Jumbo Frames fuer Software SCSI nicht supportet, die lassen sich aber aktivieren
- Bislang ist mir nie ein SoHo NAS oder dergleichen untergekommen was in Sachen Netzwerkperformance auch nur annaehernd 1GBit ereicht und wie ich sags mal so.... fuer einen ESX Host ist das keine Wahl fuer einen Datastorage (ausser evtl. Spielwiese)
- der ESX Software iSCSI Initiator ist nicht so performant wie z.b der von Microsoft
- Wenn mit den (Linux) Boardmitteln Daten kopiert werden dann ist das in der Tat sehr langsam sofern man sich in einem der Datastores aufhaelt. Dazu sollen ja auch die vmkftools benutzt werden. Wobei das ja beim ESXi ja zwangslaeufig sein muesse da es ja das COS in der klassichen Form nicht gibt

Gruss
Joerg

[bauers]

Die Buffalo Box wurde mit 58Mbit/s getestet. Das entspricht ca 7MB/s. Das LAN wird daran nichts ändern...

So eine Box auf ein produktiv ESX System loszulassen wird nie Freude machen. Dann lieber gleich ein etwas professionelleres iSCSI Storage. Sowas bekommt man schon ab 8000EUR. Immernoch kein Vergleich zu einem sauber konfigurieren FC SAN, reicht aber in jedem Fall für durchschnittliche Anwendungen aus.

Grüße

Sebastian

[mullfreak]

Hi,

vergiss die Buffallo-Teile. Das wäre was billiges, wenn man schnell seine Daten (Dateien) per iSCSI an einen Server bringen will. Da reicht es vermutlich auch aus, wenn Du nicht all zu viele Sitzungen hast. Aber für ESX iSCSI auf keinen Fall. Dafür ist es auch nicht freigegeben und wird mit Sicherheit von Vmware nicht supportet, bzw. Buffalo wird Dir keinen Support leisten.

Wir haben für ca. 7.500 Euro eine HP MSA2012i (iSCSI) mit Dual-Controller und SAS-Platten 12x 146GB Platten in einem RAID10. Da kriegst dann netto so um die 800GB für Deine VM´s. Gibts auch mit SATA 500GB und 750GB. Würde ich aber nicht dazu raten.
Wir benutzen keine HBA´s und ich schaffe momentan 95MB/s.

Allerdings dies noch über 2 HP ProCurve 1800 Switche (Stück für 250,-- Euro) und nicht direkt angehängt, weil wir weitere ESX-Server kaufen werden, bzw. iSCSI-Anschlüsse benötigen.

Jumbo-Frames werden von Vmware nicht unterstützt.

Wie man sieht, war unser Budget ebenfalls begrenzt und ich konnte doch eine saubere Lösung zusammenstellen. Virtualisierung kostet Geld und im Storage-Sektor sparen ist wie sich selbst ins Knie zu schießen.

Gruß
Mull

[DCaratella]

Also wer eine Buffalo als Storage in Betracht zieht oder gar einsetzt, sollte meiner Meinung nach generell die Finger von Virtualisierung, ESX und Co lassen.

Die ganzen "Billig-Buffalos" setzten nur Software-Raid ein, was diese "erschreckende" Datendurchsatzraten erklärt.
Wir haben auch Buffalos im Einsatz, die aber ausschließlich für File-Ablage / ISO-Files dienen bzw. für den nicht permantenten Dateizugriff vorgesehen sind.

Wer das Geld nicht in EMC, Equallogic oder NetApp investieren will, ist mit einer Infortrend SAN-Lösung gut bedient.

Haben eine voll ausgebaute (16 Platten) iSCSI-Variante im Einsatz.
Die Storage hat 2 RAID-Controller die unter anderem RAID-6 können.
Sie hat 4 iSCSI-Ports und einen LAN-Port.
Darüber hinaus können diese Geräte auch die üblichen Snapshot-Funktionalitäten wie die großen Storage-Hersteller.
Der Preis ist jedoch um ein vielfaches geringer, als bei den oben genannten Herstellern.

Achja und was ganz wichtig ist, Infortend bring immer mehr ihrer SAN-Lösungen (egal ob iSCSI oder FC) auf die VMware ESX(i) HCL.
Somit sind diese auch suppored by VMware.

[bla!zilla]

Equallogic und Infortrend in einem Atemzug mit EMC² oder NetApp zu nennen ist schon sehr mutig. RAID 6 ist übrigend extermer Müll und wird von Infortrend so gerne gepusht, da die zum sehr großen Teil auf SATA Platten setzen. Und da sind Ausfälle nun mal häufiger, was sicherlich auch der Nutzung als Primärstorage liegt, und SATA Platten dieses Leistungsprofil nicht wirklich mögen.

Wenn man sich die Verkaufszahlen auf dem Storagemarkt so ansieht, dann hat man die Wahl zwischen HP, EMC² und NetApp. Danach kommen alle anderen. Als nächstes muss man schauen, was man für sein Budget bekommt. Ist bei den ersten drei Anbietern nichts dabei, kann man sich beim Rest umschauen. Primär zu sagen "HP, EMC² und NetApp sind mir zu teuer!" kann sich sehr fatal auswirken - zumal man keine Preise hat. Bevor man Listpreisen oder Preisen aus dem Internet glaubt, lieber bei einem Partner anfragen. Projektpreise können, je nach Projektsumme, sehr interessant sein. Für einen Server und ein kleines Storage wird kaum einer einen Projektpreis anfragen. Da wird es auf die Standard-Discounts hinauslaufen.

Von so Kinderspielzeug wie einer Buffalo TeraStation o.ä. sollte man schon allein aus dem Grund die Finger lassen, dass die Kiste in der HCL von VMware nicht mal ansatzweise erwähnt wird. Die Kiste kann, wie hier im Thread schon beschrieben, nicht schnell sein. Das macht die Hardware schon nicht mit.

[mullfreak]

Hi,
da geb ich meinen Vorreder total recht. Wenn man wirklich Profi-Virtualisierung haben will, dann darf man dort am Storage auf keinen Fall sparen!!! Das ist ein völlig falscher Ansatz, darum ist die Diskussion hinfällig.

Einfach mal z. B. bei HP schauen, mit der MSA2000 kriegt man einen kostengünstig Einstieg in SAN.

Gruß
Mull

[DCaratella]

Equallogic und Infortrend in einem Atemzug mit EMC² oder NetApp zu nennen ist schon sehr mutig.

Wer lesen kann, ist wie üblich klar im Vorteil
Ich distanziere die Infortrend Lösung von den großen.

Ich gebe Dir aber hinsichtlich Equallogic und EMC² in einem Atemzug zu nennen vollkommen recht.
Doch worauf ich hinaus wollte ist, dass Equallogic rein preislich gesehen auf dem gleichen Niveau wie EMC² und Co. liegen.
Was für eine Connectivity-Technologie dahinter steckt sehe ich nicht als relevant, da im Endeffekt das Board / die Controller der Flaschenhals sind und nie die verfügbare Bandbreite ausnutzen können.