Max. Datendurchsatz bei ISCSI

[Supi]

@ Djsven: Darf ich dich nochmals bitten, ähnlich wie ich die ESX Config als Grafik mal hier zu posten?
Du hast ja am ESX HOST 2 1Gbit Karten für das ISCSI. Bei mir sind dafür drei Karten vorgesehen. Müsste ich da für jede Karte nen eigenen Switch und VMkernel anlegen?
Da bei mir 2 Controller drin sind und die Ports in 2 subnetzten, wie sollte ich da den dritten vswitch anlegen?

Die VMkernels hier müsste ich also in separate Vswitche packen. Nur was mache ich dann mit NIC3?

[BaSe]

Ja sorry, die Faulheit siegte

IOMeter test.icf aus dem vmware forum en.

#########################################################################
TEST NAME-------------------Av. Resp. Time ms # Av. IOs/sek # Av. MB/sek-


Max Throughput-100%Read.......____3.4___......____3480,382__...____108,07____

RealLife-60%Rand-65%Read......_____0.6_......._____415,525__...____4,99____

Max Throughput-50%Read........_____3.2___......_____3253,95__..____101,65____

Random-8k-70%Read............._____0.4__......._____302,725__...____3,37___

[Supi]

@BaSe

Welche Storage? Welche Raids?

[BaSe]

@BaSe

Welche Storage? Welche Raids?

Hab ich weiter oben schon erwähnt, ist eine Netapp FAS2020 mit Double Disk Parity RAID(ähnlich wie RAID6) mit 1Gbit Eth. ESX3.5 SW-iSCSI , keine Jumoframes, FlowControl aus, 14 laufenden Gäste.

[djsven]

Morgen,

@Base, Die Werte kommen mir aber auch ein wenig klein vor.
Vor allem beim 100%Read hast du sehr viele IOs.Dafür nur sehr wenig Durchsatz.
Was passiert denn wenn du mal Jumbo Frames aktivierst?
Poste mal deine Konfig

Sorry Supi, hatte gestern keine Zeit gehabt.
Hier mal die Konfig des ersten ESXs:
Je ein eigener Vswitch, mit einer Portgruppe und einer NIC.

Ich würde es bei dir vielleicht anders machen.
Nimm dir doch 2 Nics, mache 2 Vswitche mit je einer POrtgruppe.
So kannst du je zwei Pfade aufbauen und hast sogar noch eine active / passive Karte für den Enstfall, fals eine defekt ist.
Sag mal wie viele Karten hast du im Server ?




Und hier mal die beiden aktiven Pfade:

[Supi]

Hallo djsven,

also pro ESX Host sind 8 ports vorhanden. 4x Onboard Broadcom 5709 + 1x Intel Quadport VT.

So langsam verwirrt mich das ganze mit dem multiplen pfaden bei ESX 4.0. Ich habe das ganze mal versucht in meiner Testumgebung nachzustellen.
Home PC mit VMWorkstation mit folgenden VM's
1x ESX 4.0 4 nics ,
1x SRV03 mit vcenter,
1x xp pro 3 nics mit Starwind target

wenn ich hier 3 ISCSI Kernels am ESX einrichte und 3 Pfade zu den 3 NICS vom Starwind kommt folgendes bei raus:
Wie komme ich da auf 6 pfade? kann das durch den starwind kommen?

Edit: kann es sein, dass das Starwind Target als Aktiv/aktiv agiert?

[BaSe]

Morgen,

@Base, Die Werte kommen mir aber auch ein wenig klein vor.
Vor allem beim 100%Read hast du sehr viele IOs.Dafür nur sehr wenig Durchsatz.
Was passiert denn wenn du mal Jumbo Frames aktivierst?
Poste mal deine Konfig

Wieso, 3480 IO´s bei einem Durchsatz von 108MB/s entspricht doch einer ratio ähnlicher deiner Multipathconfig von 9822,97 IO´s zu 306,07MB/s.
Die Werte sind gar nicht mal schlecht bei einer ESX Farm die unter Last steht.

Jumbo Frames kann ich mal eben nicht einfach so aktivieren da es sich um eine Produktivumgebung handelt, das ganze würde schon etwas Vorbereitung erfordern.

[djsven]

Hi,
OK, du hast den Test unter Last gemacht.
Ist dann immer schwierig die genauen Werte zu bekommen.
Ja da haste recht.
Bei uns läuft noch nicht besoners viel auf den ESX Servern.
Kleinkram.
Deswegen auch die Performance wahrscheinlich.

Habt ihr beuch euch Fileserver virtuallisiert?
Wir haben das mit Netware vor, do graut es mir da ein wenig vor der Performance.
Gerade wenn 2-3 User gleichzeitig Daten (große) Speichern und Lesen, geht das Ding ganz schön in die Knie.

Wie hast dein RealLife Wert so hoch bekommen??
Der ist mei mir extra Grottisch.
Wo hast du IOMeter laufen lassen?

[BaSe]

Nein, unser Fileserver läuft mit einer CIFS Lizenz auf der Netapp. Ursprünglich wollte ich virtualisieren, aber das habe ich dann aus techn. Gründen aufgegeben, auch in Bezug auf die Performance war ich eher skeptisch. Aber ich habe im Inet auch schon andere Berichte gelesen die damit zufrieden waren.

IOMeter hab ich in diesem Fall auf einem XP Gast laufen lassen(1 Partition, LSI Logic Controller).

[djsven]

Hi, supi,
das stimmt!
Jetzt hast du je controller 2 Pfade.
Also hast du jetzt insgesammt 6 Pfade die gleichzeitig Active sind.

[Supi]

@djseven
nur wie kommt der esx auf die 2 Pfade pro Controller?
Bei meiner MD3000i kann ich das ja noch nachvollziehen, 2 Controller mit je 2 Lanports =4 Pfade.
Nur zu dem Starwind ISCSI habe ich doch eigentlich nur 3 Pfade, da der virtuelle PC nur 3 nics hat.

[djsven]

2 Nics, pro Server, 4 Nics am Tower a 2 Luns.
Anders kann ich mir das nicht erklären.

[Supi]

@djsven
Also ich habe jetzt mal für meine 3 Lankabel zum ISCSI Switch (3 je ESX-Host) einen VMKernelPort eingerichtet. Jedoch komme ich beim max read test trotz allem nicht auf mehr wie 120-130MB, egal ob vom 6 DISK Raid-10 als vom 5 Disk Raid-5.
Irgendwie seltsam.

[djsven]

Habe den Test in der VMware gemacht auf die lokale Platte!
Wenn wir einen Test auf Fileserver Ebene machen, quasi über ein Netzlaufwerk,
kommen wir auch nicht an diese Werte ran.

[Supi]

@djsven er Test war in einer W2k08 VM, Test-Platte eine Platte der VM auf dem I-SCSI Storage. Auf dem I-SCSI switch konnte man schön sehen, dass alle 3 Leitung vom ESX Host in Benutzung waren.
Konntest du bei dir einen unterschied feststellen, alle VMKernel in einem vSwitch und dann mal pro Kernel einen eigenen vSwitch?
Dabei hatt sich bei mir nichts geändert.

[CLSsupport]

So langsam verwirrt mich das ganze mit dem multiplen pfaden bei ESX 4.0. Ich habe das ganze mal versucht in meiner Testumgebung nachzustellen.
Home PC mit VMWorkstation mit folgenden VM's
1x ESX 4.0 4 nics ,
1x SRV03 mit vcenter,
1x xp pro 3 nics mit Starwind target

wenn ich hier 3 ISCSI Kernels am ESX einrichte und 3 Pfade zu den 3 NICS vom Starwind kommt folgendes bei raus:
Wie komme ich da auf 6 pfade? kann das durch den starwind kommen?

@supi
Sehe ich das richtig - du hast eine SAN Emulation mit der Starwind iSCSI SW aufgebaut ?
mit WinXP x32 als OS auf einem Home PC (wahrscheinlich auch mit WinXP x32 und ein bis 2 SATA HDDs) VMware Workstation ?
Aber das kann doch keine max Performance geben ?

Edit: Oder hast du das nur zum Üben für den vSwitch und dem prinzipiellen Kennenlernen von iSCSI und der virtuellen Starwind SAN gemacht

mfg MG

[Supi]

@supi
Sehe ich das richtig - du hast eine SAN Emulation mit der Starwind iSCSI SW aufgebaut ?
mit WinXP x32 als OS auf einem Home PC (wahrscheinlich auch mit WinXP x32 und ein bis 2 SATA HDDs) VMware Workstation ?
Aber das kann doch keine max Performance geben ?

Edit: Oder hast du das nur zum Üben für den vSwitch und dem prinzipiellen Kennenlernen von iSCSI und der virtuellen Starwind SAN gemacht

mfg MG

Sorry für die späte Rückinfo. War die letzte Woche unterwegs.
Es ist richtig, ich habe ein SAN E-Mulation mit Starwind gemacht. Eine VM mit XP unter VM-Workstation, die die Starwind Target enthielt und dazu eine ESX 4.0 VM, wo ich die targets als Ziele eingerichtet hatte.
Ging auch nicht um Performance-Tests sondern eher um das technische Verständnis.

Auf dem Echt-System (Dell R610, ESX 4.0, MD3000i) habe ich jetzt 3 Pfade, X.X.10.10, X.X.11.10 und X.X.10.12 , eingerichtet, die auf die 4 Ports auf der MD3000i zugreifen. (3 Pfade, da im ESX drei NW-Karte mit IP für den I-SCSI Traffic eigerichtet sind.
(3 Karten gehen pro ESX-Host (2 Stück) zum Switch, an diesem sind 4 Leitungen der MD3000i dran)
Dabei erreiche ich aber trotzdem nur max 130MB, trotzdem alle Pfade bei eineme Benchmark genutzt werden. (Am ESX als auch am richtigen Switch sichbar, dass 3 Leitungen genutzt werden)

[James]

Hallo

130MB x 8 gibt doch 1GB, mehr passt doch nicht übers kabel und ESX macht doch immernoch kein loadbalancing

gruss
James

[Supi]

das ich mit dem Ergebnis auf volle 1Gbit komme, will ich gar nicht anzweifeln. Nur habe ich ja ähnlich wie djsven hier im Thread getestet, der da beim I/O Meter mit einer ähnlichen IBM I-SCSI Storage auf 304Mbyte durchsatz kam. (Seite 3)

Außerdem scheint der ESX ja doch irgendwie die Last auf die 3 I-SCSI Pfade zu verteilen. (die im ESX definiert sind)

[JMcClane]

Über 130MB würde ich mich freuen. Ich komme zur Zeit nicht über 30MB hinaus. Keine Ahnung wo es hakt.

[Supi]

Über 130MB würde ich mich freuen. Ich komme zur Zeit nicht über 30MB hinaus. Keine Ahnung wo es hakt.

@hm... dann sag ich mal sorry für meine "luxus"-Probleme.

[JMcClane]

Ich mach auch nur noch FC. iSCSI macht auch nur Spaß mit ausgewählter Hardware. Und dann ists vom Preis her kein Unterschied mehr.

[Rumak18]

Hallo,

vorab...sorry wenn das hier nicht ideal reinpasst, aber wie zum Geier funktioniert das mit dem IOMETER genau?
Lässt ihr diesen in eueren virtuellen Umgebungen auf einer VM laufen? Denn in meinen Augen sind das ja nicht reele Werte, die da rauskommen würden.
Aber ok...gehen wir davon aus, dass ich das auf der VM laufen lasse. Dann erhalte ich ein "result.csv". Aber wie erhaltet ihr diese "grafische" Übersicht dann, die hier überall zu finden ist?
Und was mich noch interessiert ist, wieso jeder nur den "READ" Wert ermittelt und nie "WRITE" irgendwo zu sehen ist.
Sorry, wenn es vielleicht jetzt zu simpel rüberkommt,aber ich weiß nicht, wo ich ansetzen soll.

[irix]

Fang mal bei http://vmware-forum.de/viewtopic.php?p=120992#120992 und lese dann noch weiter. Um die Frage von alten Eingangpost zu beantworten. Mit unrealistischen Testcases lese/Schreibe ich aus dem Cache mit 1800MB/s und dem iSCSI SAN. Im Reallife siehts natuerlich ganz anders und da wuerde manchmal auch ein Klingeldraht reichen was die Bandbreite angeht.

Ja das laesst man in der VM laufen und ueberprueft die Werte mit esxtop.

Gruss
Joerg

[sirrossi]

Wir haben auch mal eine kleine Performance Übersicht dargestellt gehabt, zu finden unter: http://faqde.sanbarrow.com/
http://faqde.sanbarrow.com/index.php?action=artikel&cat=13&id=16&artlang=de

Sollte ich doch mal wieder aktualisieren