DELL MD3200i Storage Performance Problem

[diamond1001]

Hallo an euch da draussen.

Habe eine verständnis frage. Ich besitze denn MD 3200i. Ich habe einfach zuviele Performance Probleme. Wenn ich eine Testfile auf einen vserver schreiben lasse, sagen wir 500 MB, dann schreibt er mal mit

(dd if=/dev/zero of=testfile bs=1024 count=500000 && sync)
500000+0 Datensätze ein
500000+0 Datensätze aus
512000000 Bytes (512 MB) kopiert, 6,91329 s, 74,1 MB/s


oder mal mit 250 MB/s

Es ist ganz unterschiedlich. Und mal mit 30 und das ist ziemlich lahm.

Entweder sind die Pfade "Zulezt verwendet" gewählt oder der Pfad "Round Robin". Aber irgendwie bringt das nichts.

Meine Config vom Storage sieht so aus:

Controller Modul 1

192.168.130.101 - 255.255.255.0
192.168.131.101 - 255.255.255.0
192.168.132.101 - 255.255.255.0
192.168.133.101 - 255.255.255.0

Controller Modul 2

192.168.130.102 - 255.255.255.0
192.168.131.102 - 255.255.255.0
192.168.132.102 - 255.255.255.0
192.168.133.102 - 255.255.255.0

Und das ist die Einstellung unter einem ESX Host:

Code: Alles auswählen

[root@server2 ~]# esxcli swiscsi nic list -d vmhba33
vmk1
    pNic name: vmnic3
    ipv4 address: 192.168.133.2
    ipv4 net mask: 255.255.255.0
    ipv6 addresses:
    mac address: b8:ac:6f:85:34:63
    mtu: 1500
    toe: false
    tso: true
    tcp checksum: false
    vlan: true
    vlanId: 0
    ports reserved: 63488~65536
    link connected: true
    ethernet speed: 1000
    packets received: 4265438
    packets sent: 6342607
    NIC driver: bnx2
    driver version: 2.0.15g.8.v41.1
    firmware version: 5.2.7 bc 5.2.2 NCSI 2.0.8

vmk0
    pNic name: vmnic2
    ipv4 address: 192.168.130.2
    ipv4 net mask: 255.255.255.0
    ipv6 addresses:
    mac address: b8:ac:6f:85:34:61
    mtu: 1500
    toe: false
    tso: true
    tcp checksum: false
    vlan: true
    vlanId: 0
    ports reserved: 63488~65536
    link connected: true
    ethernet speed: 1000
    packets received: 5269933
    packets sent: 9311162
    NIC driver: bnx2
    driver version: 2.0.15g.8.v41.1
    firmware version: 5.2.7 bc 5.2.2 NCSI 2.0.8

vmk3
    pNic name: vmnic2
    ipv4 address: 192.168.132.2
    ipv4 net mask: 255.255.255.0
    ipv6 addresses:
    mac address: b8:ac:6f:85:34:61
    mtu: 1500
    toe: false
    tso: true
    tcp checksum: false
    vlan: true
    vlanId: 0
    ports reserved: 63488~65536
    link connected: true
    ethernet speed: 1000
    packets received: 5269933
    packets sent: 9311162
    NIC driver: bnx2
    driver version: 2.0.15g.8.v41.1
    firmware version: 5.2.7 bc 5.2.2 NCSI 2.0.8

vmk4
    pNic name: vmnic3
    ipv4 address: 192.168.131.2
    ipv4 net mask: 255.255.255.0
    ipv6 addresses:
    mac address: b8:ac:6f:85:34:63
    mtu: 1500
    toe: false
    tso: true
    tcp checksum: false
    vlan: true
    vlanId: 0
    ports reserved: 63488~65536
    link connected: true
    ethernet speed: 1000
    packets received: 4265438
    packets sent: 6342607
    NIC driver: bnx2
    driver version: 2.0.15g.8.v41.1
    firmware version: 5.2.7 bc 5.2.2 NCSI 2.0.8


Alle Pfade findet er, aber wie gesagt einfach zu low von der Performacnce.

8 Platten SAS 15k in Raid 10.

Ich hab gelesen, das der Storage also jeder NIC ihr eigenen Subnetz haben soll? Weiss jemand ob das stimmt und ob das Performance mit bringt? Bitte um Hilfe

lg

[irix]

- Welches SATP wird verwendet?
- Kommt ein vSS oder 4 vSS zum Einsatz?

Des weiteren kann ich sagen das Performancemessungen aus der COS oder Busybox nun garnichts aussagen. Bitte aus einer VM heraus Last erzeugen und dann mit esxtop nachgucken was raus geht.

Gruss
Joerg

[diamond1001]

Also mommentan wird Round Robin verwendet und vSS? Was meinst du damit?

Welche werte soll ich mal von estop zeigen, menüpunkt d?

[diamond1001]

Was mich aber interessiert ist, sind die IP Config des Storage so Richtig?

Oder sollte die IP Config vielleicht vom Storage in etwa so aussehen:

Meine Config vom Storage sieht so aus:

Controller Modul 1

192.168.10,181 - 255.255.255.0
192.168.10,182 - 255.255.255.0
192.168.10,183 - 255.255.255.0
192.168.10,184 - 255.255.255.0

Controller Modul 2

192.168.10,185 - 255.255.255.0
192.168.10,186 - 255.255.255.0
192.168.10,187 - 255.255.255.0
192.168.10,188 - 255.255.255.0

Diese COnfig hatte ich vorher, mit der Pfad Einstellung "Zuletzt verwendet" Da hatte ich echt gute Werte. Nur Round Robin hat nicht Funktioniert. Deswegen habe ich die IP des Storage Testweise Umgestellt auf:

Controller Modul 1

192.168.130.101 - 255.255.255.0
192.168.131.101 - 255.255.255.0
192.168.132.101 - 255.255.255.0
192.168.133.101 - 255.255.255.0

Controller Modul 2

192.168.130.102 - 255.255.255.0
192.168.131.102 - 255.255.255.0
192.168.132.102 - 255.255.255.0
192.168.133.102 - 255.255.255.0

Nun jetzt sind die Werte ganz unterschiedlich, wie wenn die Werte hin und her Schwanken.

[diamond1001]

Hier ein Auszug:

[/tmp]# (dd if=/dev/zero of=testfile bs=1024 count=2000000 && sync)
dd: Schreiben von âtestfileâ: Auf dem Gerät ist kein Speicherplatz mehr verfügbar
1960073+0 Datensätze ein
1960072+0 Datensätze aus
2007113728 Bytes (2,0 GB) kopiert, 11,8505 Sekunden, 169 MB/s

Code: Alles auswählen

 ADAPTR PATH                 NPTH   CMDS/s  READS/s WRITES/s MBREAD/s MBWRTN/s DAVG/cmd KAVG/cmd GAVG/cmd QAVG/cmd
 vmhba0 -                       1    22.00     0.00    22.00     0.00     0.74     1.76     0.01     1.77     0.00
 vmhba1 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
 vmhba2 -                       1     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba32 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba33 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba34 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba35 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba36 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba37 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba38 -                      32   381.43     1.37   380.06     0.01   180.71    80.46     0.01    80.47     0.01


Ich weiss nicht so recht..

[Supi]

Vielleicht gibt es hier erhellende Hinweise:
http://www.delltechcenter.com/thread/43 ... Results=10

[irix]

Mit vSS ist der Virtual Standard Switch gemeint und ich wollte da wissen ob du einen fuer deine 4 NICs oder aber 4 mit jeweils einer NIC gemacht hast.

Mit SATP ist das "Storage Array Type Plugin" gemeint und da sollte NICHT VMW_SATP_DEFAULT_AA stehen. Unter Umstaenden ist dein Storage nicht richtig zugeordnet und du must eine eigene ClaimRule erstellen... aber noch sind wir nicht soweit.

Den Thread aus dem Dell Techcenter kenne ich auch... nur zeigt er das genau Gegenteil vom Bestpractive Guide der Configure MD32x0 for vSphere. Allerdings bei den Arrays die Sowohl Single also auch Multible Subnets supporten ich die Erfahrung gemacht habe das es mit mehreren Subnetzen besser Funktioniert.

Gruss
Joerg

[diamond1001]

Also ich habe zwei virtuelle switche erstellt.

Zwei VMkerlnel auf einen virtuellen swith mit jeweils einen Nic.

Sprich

vmk0 und vmk1 -> virtuel swith (vmnic2)

vmk2 und vmk3 -> virtuel swith (vmnic3)

Alle 1000MB Link.

Und als Speicher Array typ ist VMW_SATP_LSI gesetzt.

Und das bei beiden ESX Hosts.

Ich weiss nicht mehr weiter

[irix]

Also ich hab bei den MDs immer nur MRU verwendet gehabt. Damit ist es unter VMware ihrer HCL auch gelistet und das steht auch so in http://www.dell.com/downloads/global/products/pvaul/en/powervault-md32xxi-deployment-guide-for-vmware-esx4.1.pdf drin.

Also 180MB/s wegschreiben ist fuer so eine kleine MD ne ganze Menge. Allerdings frage ich mich ob die Latency nicht ein bisschen zuhoch ist. Das koennte aber an der grossen Blocksize liegen welche du verwendest.

Kannst du mal IOmeter starten und nen 32KB,100%Read,0%Rand machen aus 8192 sectoren mit 16 Outstanding IOs? Weil das liest aus dem Cache. Die Analyse dann aber mit esxtop.

Gruss
Joerg

[diamond1001]

Okay, das mache ich. Noch eine kurze frage. Ist der md3200 auch Kompatibel für Round Robin? hat das jemand schon getestet?

[irix]

Beide stehen mit MRU+swISCSI in der HCL. Allerdings warum fragst du nicht einfach mal den Dell Support wenn du Probleme hast?

Gruss
Joerg

[diamond1001]

Was meinst du mit MRU=? swiSCSI?

[diamond1001]

Hat sich erledigt. Weiss bescheid. lg

[irix]

Was meinst du mit MRU=? swiSCSI?

Die PathPolicy MostRecentlyUsed zusammen mit Software iSCSI Initiator. Aber selbst wenn das Unverstaendlich waere ... aber in die HCL muesstest du doch mal geschaut haben?

Gruss
Joerg

[irix]

Hat sich erledigt. Weiss bescheid. lg

Ok... konfiguriere es doch erstmal so wie es Vorgeschlagen ist und getestet wurde. Entspricht es nicht denen Vorstellungen dann rufe beim Support an bevor du nun andere Konfigs verwendest.


Gruss
Joerg

[diamond1001]

Hallo irix, ich habe iometer im vcenter installiert und gestartet.

Mit deinen Einstellungen, hier sind die Ergebnisse nach 10 Minuten:

Code: Alles auswählen

 ADAPTR PATH                 NPTH   CMDS/s  READS/s WRITES/s MBREAD/s MBWRTN/s DAVG/cmd KAVG/cmd GAVG/cmd QAVG/cmd
 vmhba0 -                       3     6.72     0.00     6.72     0.00     0.03     0.06     0.00     0.06     0.00
 vmhba1 -                       1     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba32 -                       0     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00     0.00
vmhba33 -                      32  3488.85  3485.49     3.36   108.92     0.03     4.41     0.00     4.41     0.00


Der Iomter sagt selber 108 MB/s

Habe Screenshoot vom iometer angehängt. Bitte um Antwort. Sind die Werte gut?

[irix]

Mit MRU habe ich 114MB/s aus dem Cache und ca. 96MB/s wenn ich auf RR umstelle. Erhoehe ich dann die Blocksize von 32 auf 1024KB gehen 224MB/s ueber den draht. Da mein ESX Host nur 2x1GbE fuer iSCSI hat ist das nahe am Maximum.

Wenn man im esxtop "n" anschaut sieht man wie die Daten ueber die VMK/vmnics laeuft.

Gruss
Joerg

[diamond1001]

Super, danke für denn Tip. Ist es normal, das die Daten immer über einen vmnic laufen? Ich meine ich habe 2 nics für iscsi. Aber die Daten fliesen nur über einen nic. Ist das so Richtig?

[irix]

Super, danke für denn Tip. Ist es normal, das die Daten immer über einen vmnic laufen? Ich meine ich habe 2 nics für iscsi. Aber die Daten fliesen nur über einen nic. Ist das so Richtig?

Also bei RR nicht.

Gruss
Joerg

[irix]

Ich stelle die Landschaft morgen beim Kunden auf und teste dann nochmal mit MRU/RR und kann dann die Ergebnisse sowie die Konfig hier posten.

Gruss
Joerg

[diamond1001]

Super Da freu ich mich schon.. Ja RR hab ich noch nicht getestet. Bin bei MRU. Da ist das doch normal das der ganze Traffic durch eine nic geht?

[pdcemulator]

Das Problem hab ich auch... http://vmware-forum.de/viewtopic.php?p=116455#116455

[diamond1001]

Komisch. Ich werde mit einen Supporter Telefonieren. Aber komisch ist, das nirgendswo offiziel Round Robin bestätigt wird beim MD 3200i

Soweit ich weiss nur inoffiziel. Halt mich bitte auf dem laufenden. Wegen der Einstellung etc.

Beste Grüße

[diamond1001]

Irix:

Es gibt was neues. Ich habe mit dem vmware support gesprochen. Ich hatte das Problem, das bei beiden ESX Server ab und zu performance Probleme gibt. Nach einem ESX neustart kam das Problem, nach wieder einem neustart wieder alles gut. Hatte wie gesagt MRU eingestellt.

Mit Round Robin hatte ich die ganze Zeit Performance Probleme. Nun hat der Vmware Support fest gestellt, das bei mir 2 Pade Funktionieren und zwei Pfade wiederrum nicht. An den 2 Netzwerkarten liegt es nicht, da beide 2 Pfade die Funktionieren einmal auf NIC 1 laufen und der andere auf NIC 2

Es kann entweder am Storage selbst liegen und glücklicherweise an der Verkabelung.. Ist jemand soein Problem bekannt beim MD3200i?

[irix]

Anfang Maerz kam eine neue Firmware fuer den MD32x0. Schau mal ob du schon auf dem aktuellen Stand bist.

Gruss
Joerg