Max. Datendurchsatz bei ISCSI

[djsven]

Morgen zusammen,

kann mir einer von euch sagen, was der maximale Datendurchsatz bei Iscsi ist?
Wir erreichen gerade mal mit IOMeter in einer Maschine gemessen max. 40MB/s.
Ohne Jumbo Frames und Flow control.
Wenn beides, oder eines davon aktiviert ist, wirds sogar noch weniger.
Ist ein IBM DS3300 mit Dual Controller, angebunden an 2 Swichtes HP1800-8G.

Ist das ein realistischer Wert oder doch zu wenig?

LG
Djsven

[JMcClane]

Hi,

ich werde Ende Juli zufälligerweise auch ein DS3300 mit den gleichen HP Switchen aufbauen. Ich lass dann auch mal IO Meter auf der Kiste laufen und schreib die Werte hier rein.

[bla!zilla]

Also iSCSI bringt bei GbE so round about 50 bis 75 MB/s, je nach Auslastung der Switches, ob Hardware- oder Softwareinitiator, Traffic, Anzahl der Platten, RAID Level, Accesspattern usw.

Mit der Angabe DS3300 und HP Switches kann man nicht wirklich viel anfangen. Das ist so, als wenn ich fragen würde "Wie schnell ist mein Audi mit vier Rädern?".

[djsven]

)
OK:

IBm DS3300
8 Plattem 15k, SAS, RAID 6
Softwareinitiator
2xHP1800-8G Switche
2 x x3650 Server, mit jeweils 2 Gigabit (Broadcom) NICs für IScsi.
Last: 13 Vms, mit ein wenig Last
Was für Angaben brauchst du noch?

Hier mal ein paar Werte, Benchmark Tool h2bench (c´t), in Windows VM Maschine:


So und das ganze nochmal mit IOMeter, mit vmware community Parametern:

[bla!zilla]

Read? Write? Durchschnittliche IO-Größe? Verhältnis Read/ Write?

[djsven]

Hi,
schau mal schnell einen Beitrag weiter oben, zwei Screenshots angehängt.

[irix]

Wenn du mit den IOMeter Lastfall mal zukommen lässt oder auf den VMTN Thread verlinken koenntest dann poste ich mal die Werte fuer unsere iSCSI SANS auf Basis von Open-E und Equallogic.

Gruss
Joerg

[bla!zilla]

Die IOmeter Werte sehen komisch aus und die Werte im ersten Screenshot hauen mich, bei dem System, nicht wirklich von den Socken.

[djsven]

Hi,
sage ich ja.
Die Werte komme so aus IOMeter raus!
Müsste man noch umwandeln.
Idee wo der Knackpunkt sein könnte?
Viele schneller wirds wohl nicht gehen!
Probiere gerade an allen Schrauben zu drehen, wenn ich nur wüsste, ob es noch schneller geht, oder ob das schon das schnellste ist, was das System erreichen kann.

[mullfreak]

Hi,
meine Erfahrung ist, dass die Performance immer abhängig ist vom jeweiligen RAID, Anzahl der Platten, Fabrikat der Platten.
Wir schaffen auf unserer HP MSA2012i mit insg. 12 Platten (SAS, 15k, 146GB) auf 2x RAID10 mit 6 Platten o. HotSpare auf einer VM (Win2003) mit IOMeter 95MB/s Read bei 64k.

Schreib mal, was Du für Platten einsetzt.

Gruß
Mull

[Supi]

Hi,
meine Erfahrung ist, dass die Performance immer abhängig ist vom jeweiligen RAID, Anzahl der Platten, Fabrikat der Platten.
Wir schaffen auf unserer HP MSA2012i mit insg. 12 Platten (SAS, 15k, 146GB) auf 2x RAID10 mit 6 Platten o. HotSpare auf einer VM (Win2003) mit IOMeter 95MB/s Read bei 64k.

Schreib mal, was Du für Platten einsetzt.

Gruß
Mull

kannst du dein Raid auch mal wie in der VM Community mit IO Meter testen? Template :http://www.mez.co.uk/OpenPerformanceTest.icf

hier mal meine Werte :
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
TABLE oF RESULTS 1X VM WIN2008 64bit SP2 / ESX 4.0 ON Dell MD3000i via PC 5424
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++


SERVER TYPE: VM .
CPU TYPE / NUMBER: VCPU / 2 )JUMBO FRAMES, MPIO RR
HOST TYPE: Dell R610, 16GB RAM; 2x XEON 5540, 2,5 GHz, QC
ISCSI: VMWare iSCSI software initiator , Onboard Broadcom 5709 with TOE+ISCSI
STORAGE TYPE / DISK NUMBER / RAID LEVEL:Dell MD3000i x 1 / 6 Disks (15K 146GB / R10)


##################################################################################
TEST NAME-------------------Av. Resp. Time ms------Av. IOs/sek-------Av. MB/sek------


Max Throughput-100%Read........____14,55___..........____4133__.........____128,48____

RealLife-60%Rand-65%Read......_____22,69_.........._____2085__.........____16,92____

Max Throughput-50%Read.........._____14,13___.........._____4289__.........____134,04____

Random-8k-70%Read................._____21,7__.........._____2272__.........____17,75___


++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
TABLE oF RESULTS 1X VM WIN2008 64bit SP2 / ESX 4.0 ON Dell MD3000i via PC 5424
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

SERVER TYPE: VM .
CPU TYPE / NUMBER: VCPU / 2 )JUMBO FRAMES, MPIO RR
HOST TYPE: Dell R610, 16GB RAM; 2x XEON E5540, 2,5 GHz, QC
ISCSI: VMWare iSCSI software initiator , Onboard Broadcom 5709 with TOE+ISCSI
STORAGE TYPE / DISK NUMBER / RAID LEVEL:Dell MD3000i x 1 / 5+1 Disks (15K 146GB / R5)


##################################################################################
TEST NAME-------------------Av. Resp. Time ms------Av. IOs/sek-------Av. MB/sek------


Max Throughput-100%Read........____14,36___..........____4122__.........____128,68____

RealLife-60%Rand-65%Read......_____32,8_.........._____1067__.........____8,34____

Max Throughput-50%Read.........._____13,95___.........._____4339__.........____134,40____

Random-8k-70%Read................._____37,9__.........._____1066__.........____8,33___

[djsven]

Hi Supi,

sag mal wie hast du das in dem CSV Sheet umgerechnet??
Bei mir stehen da 40.500.30 MBps.
Steht das so bei dir auch drin?

Wenn ihr IOMeter druchlaufen lasst,kommt doch ne CSV raus, die Einfach ein Excel öffnen und dann Daten trennen nach Komma.
Und dann steht da auch bei euch so giga Zahlen?


Was haltet ihr von dieser Verkablung hier??
http://www.delltechcenter.com/page/VMwa ... lt+MD3000i

Ist diese nicht besserm weil man gleich 2 active Netzwerkkarten hat, als wenn man zwei Karten in einen VMKernel packet und nun eine hat, die passive ist?
Wie siehts bei euch aus?
Danke

[Supi]

Hallo DJSeven,

zum I/O Meter: Im VMWare Forum schrieb einer, das er die Result-Ergebnisse direkt aus dem I/OMeter genommen hat. Da habe ich die Werte auch per Hand rausgezogen. In der CSV haben ich diese zwar auch gefunden, bin aber ebenso am Datenimport in Excel gescheitert.

Hier mal unsere Config. Muss aber sagen, das der Techniker bei Installation auch noch nicht so 100% fit war was Vsphere angeht, und hat sich daher zumindest im Groben an dies hier http://vmware.com/pdf/vsphere4/r40/vsp_ ... an_cfg.pdf gehalten. Den Dell Techcenter Eintrag gabs da noch nicht. Ob das jetzt so 100% richtig ist? Keine Ahnung. Jedenfalls musste ich noch für jede Lun von der Storage einzeln das Round Robin einschalten.

[djsven]

Hi,
und wie hast du dann deine Werte ermitelt??
Was hasten genau gemacht um an diese Werte zu kommen?

Also sind das doch gar keine verwentbaren Daten bei mir oder?

Weiß ich leider auch nicht was richtig und falsch ist bei der Konfig.
Sieht aber so aus, also ob du dann pro Lun so einen eigene VMKernel erstellen musst?

[JMcClane]

Nicht pro Lun, aber pro Netz auf dem iSCSI Storage. Da sind ja 2 verschiedene Netze auf den Ports der 2 Controller am Storage.
Daran erkennt der ESX wohl das es 2 verschiedene Pfade sind.

[djsven]

Ok, dann nochmal kurz und knapp, was ist der Vorteil genau dieser Konfig zu meiner?
Wir haben nur 1 VMkernel iscsi definiert, wo 2 Nics drin sitzen.
1 ist ja aktive, die andere passiv.
Damit kannn man jeweils 1 Nic von beiden Controllern ansprechen.
Wenn eine ausfällt, macht die andere nic weiter.
Gibt auch nur 1 IP Bereich für das Iscsi.

Wie siehts bei der neuen Konfig aus?
Wie siehts beim Ausfall von einem Nic aus?

[Supi]

Hi,
und wie hast du dann deine Werte ermitelt??
Was hasten genau gemacht um an diese Werte zu kommen?

Also sind das doch gar keine verwentbaren Daten bei mir oder?

Weiß ich leider auch nicht was richtig und falsch ist bei der Konfig.
Sieht aber so aus, also ob du dann pro Lun so einen eigene VMKernel erstellen musst?

Also zu I/O Meter : http://communities.vmware.com/thread/73745 hier die ICF File als Basis und dann jede Access Specification einzeln getestet und aus dem Resultsfenster rausgelesen.
Zum Vsphere: Ich lese das so: pro Netzwerkanschluss zum Storage 1 Kernel-Port, und diese theoretisch in einem separatem Vswitch. Pro KernelPort 1 Nic aktiv, die anderen inaktiv setzen. Dann die Pfade zu den Luns auf Round Robin setzen.
Aber eigentlich würde ich mich noch als VMware Rookie bezeichnen.

[djsven]

Ok, ich probiere es mal über das Resault Fesnter.
Aber was genau bringt mir den Vorteiler dieser Konfig, gegenüber dieser hier??

[JMcClane]

Bei der Config hast du nur einen Pfad zum Storage. Fällt der Controller aus kommt der ESX nicht mehr drauf.

[djsven]

Bei welcher Config?
Meiner oder die von Dell?

[JMcClane]

Deiner, weil da ist ja nur ein Netz drin.
Wie sind denn die Controller vom Storage eingestellt? Haben da alle Ports eine IP aus dem gleichen Bereich?

[djsven]

Das sind zwei Nic von zwei unterschiednlichen Netzwerkkarten in der Portgruppe.
Wenn eine kaputt geht, macht die andere weiter.
Ja, die haben alle die Ips aus dem selben IP Segment.

Was ich nur gesehen habe ist, bei meiner Konfig kann ich nur mit 1GBit auf 2 Ports des Towers zugreifen.
Mit der Dell Konfig kann ich doch mit 2 GBit auf 4 Ports zugreifen.

[JMcClane]

Ich weiß nicht genau wie der ESX arbeitet, aber ich nehme Aufgrund der DELL Config an, das für Multipathing getrennte Netze benutzt werden müssen. Sonst nutzt er nur eine Leitung und ob der Failover gescheit funktioniert weiß ich auch nicht. Müsste man mal ausprobieren. Oder mal im Storage Manual vom ESX genau nachlesen wie man es machen sollte.

[djsven]

Also wir haben bei uns einfach mal die NIC deaktiviert bzw. das Kabel gezogen!
Ging sehr gut!
Trotzdem würde mich mal interessieren,
ob bei dem Dell Konstrukt zwei Karten paralell arbeiten und man somit mehr Performance ereicht werden kann!

[JMcClane]

Bei ESX 3.5 nicht. Beim 4er bin ich mir nicht sicher.