ESXi 5.1 iSCSI und Round Robin. Traffic nur auf einer NIC

[querdenker]

Hallo zusammen

Ich bin neu hier und habe auch schon die erste Frage im Zusammenhang mit Esxi 5.1, iSCSI und Round-Robin.
Hoffe ihr könnt mir einen Anstoss geben, damit ich zum Ziel komme.

Das hier ist das Layout meiner Test-Server::

2x ESX Server:
- 144GB RAM
- RAID1 lokal mit 148GB HD
- 1x NIC LAN
- 2x NIC iSCSI

1x Storage/iSCSI Server Ubuntu 12.04:
- 144GB RAM
- RAID1 mit 148GB HD
- RAID5 4x 600GB
- 1x NIC LAN
- 2x NIC iSCSI



Auf dem Ubuntu Server habe ich per LVM je 100GB einem LUN zugeordnet und dieses per iSCSI exportiert.
Mache ich auf dem Ubuntu Server einen Test, so komme ich bei dem RAID5 auf einen Durchsatz von ca. 230MB/s.

Auf dem ESX Server habe ich einen "vSwitch" mit zwei "VMKernel's". Dazu jeweils unter "NIC Teaming"
einen Adapter ausgeschlossen. So wie es in dieser Anleitung steht.

Multipathing ISCSI VMware

Wenn ich aber auf dem ESX in einer VM einen Test mache, so habe ich immer nur ca. 100MB/s. Dies ist
natürlich die max. Geschwindigkeit 1 NIC. Irgendwie scheint das RR bei mir nicht richtig zu klappen.
Es wird immer nur auf 1 NIC etwas gesendet und empfangen. Die zweite NIC hat keinen Traffic, bis
ich manuell einen Fehler erzeuge und der ESX dann auf die andere NIC switcht.

Ich habe schon etliches gelesen und habe auch den "IOPS" Wert von "1000" auf "1" gestellt. Weiter habe ich
auch "useANO" auf "1", was aber auch nicht hilft.

Ich möchte gerne erreichen, dass beide NIC's für das iSCSI verwendet werden.

Ich habe keine Idee mehr und bin echt über einen Tipp dankbar.

Gruss


Hier noch die Konfiguration:

Code: Alles auswählen

~ # esxcfg-mpath -bd naa.600XXXXXXXXX82473
naa.600XXXXXXXXX82473 : LIO-ORG iSCSI Disk (naa.600XXXXXXXXX82473)
   vmhba36:C0:T0:L1 LUN:1 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000001 PortalTag=1
   vmhba36:C1:T0:L1 LUN:1 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000002 PortalTag=1
   vmhba36:C2:T0:L1 LUN:1 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000003 PortalTag=1
   vmhba36:C3:T0:L1 LUN:1 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000004 PortalTag=1
~ # esxcfg-mpath -bd naa.600XXXXXXXXXbbb0f
naa.600XXXXXXXXXbbb0f : LIO-ORG iSCSI Disk (naa.600XXXXXXXXXbbb0f)
   vmhba36:C0:T0:L0 LUN:0 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000001 PortalTag=1
   vmhba36:C1:T0:L0 LUN:0 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000002 PortalTag=1
   vmhba36:C2:T0:L0 LUN:0 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000003 PortalTag=1
   vmhba36:C3:T0:L0 LUN:0 state:active iscsi Adapter: iqn.XXXXXX.iscsitest03  Target: IQN=iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613 Alias= Session=00023d000004 PortalTag=1


Code: Alles auswählen

~ # esxcli storage nmp device list -d naa.600XXXXXXXXX82473
naa.600XXXXXXXXX82473
   Device Display Name: LIO-ORG iSCSI Disk (naa.600XXXXXXXXX82473)
   Storage Array Type: VMW_SATP_ALUA
   Storage Array Type Device Config: {implicit_support=on;explicit_support=on; explicit_allow=on;alua_followover=on;{TPG_id=0,TPG_state=AO}}
   Path Selection Policy: VMW_PSP_RR
   Path Selection Policy Device Config: {policy=iops,iops=1,bytes=10485760,useANO=1;lastPathIndex=0: NumIOsPending=0,numBytesPending=0}
   Path Selection Policy Device Custom Config:
   Working Paths: vmhba36:C0:T0:L1, vmhba36:C1:T0:L1, vmhba36:C2:T0:L1, vmhba36:C3:T0:L1
   Is Local SAS Device: false
   Is Boot USB Device: false
~ # esxcli storage nmp device list -d naa.600XXXXXXXXXbbb0f
naa.600XXXXXXXXXbbb0f
   Device Display Name: LIO-ORG iSCSI Disk (naa.600XXXXXXXXXbbb0f)
   Storage Array Type: VMW_SATP_ALUA
   Storage Array Type Device Config: {implicit_support=on;explicit_support=on; explicit_allow=on;alua_followover=on;{TPG_id=0,TPG_state=AO}}
   Path Selection Policy: VMW_PSP_RR
   Path Selection Policy Device Config: {policy=iops,iops=1,bytes=10485760,useANO=1;lastPathIndex=3: NumIOsPending=0,numBytesPending=0}
   Path Selection Policy Device Custom Config:
   Working Paths: vmhba36:C0:T0:L0, vmhba36:C1:T0:L0, vmhba36:C2:T0:L0, vmhba36:C3:T0:L0
   Is Local SAS Device: false
   Is Boot USB Device: false


[bla!zilla]

Das VMkernel Binding an den Software Initiator ist sauber? Kannst du mal einen Screenshot aus dem vSphere Client posten?

Hast du mal mittels ESXTOP geschaut, wie er den Verkehr verteilt?

[querdenker]

Hallo

Hier ein Printscreen:


und die Anzeige von ESXTOP. Ich habe 3 verschiedene Zeitpunkte genommen.
ca. 460 MBit werden da angezeigt.

Ich messe auf der Linux Seite mit "iptraf" jeweils 1 Interface und da kommen keine Daten an.

Code: Alles auswählen


   PORT-ID              USED-BY  TEAM-PNIC DNAME              PKTTX/s  MbTX/s    PKTRX/s  MbRX/s %DRPTX %DRPRX
  33554433           Management        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554434               vmnic0          - vSwitch0             10.19    0.06      59.76    0.08   0.00   0.00
  33554435     Shadow of vmnic0        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554436                 vmk0     vmnic0 vSwitch0             10.19    0.06       8.03    0.00   0.00   0.00
  50331649           Management        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331650               vmnic2          - vSwitch1           2640.68  415.29    9364.34    5.13   0.00   0.00
  50331651     Shadow of vmnic2        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331652               vmnic3          - vSwitch1           2797.43  455.47   10035.24    5.50   0.00   0.00
  50331653     Shadow of vmnic3        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331654                 vmk1     vmnic2 vSwitch1           2640.68  415.29    9355.33    5.13   0.00   0.00
  50331655                 vmk2     vmnic3 vSwitch1           2797.43  455.47   10027.01    5.50   0.00   0.00


   PORT-ID              USED-BY  TEAM-PNIC DNAME              PKTTX/s  MbTX/s    PKTRX/s  MbRX/s %DRPTX %DRPRX
  33554433           Management        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554434               vmnic0          - vSwitch0              9.83    0.06      80.99    0.13   0.00   0.00
  33554435     Shadow of vmnic0        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554436                 vmk0     vmnic0 vSwitch0              9.83    0.06      14.35    0.01   0.00   0.00
  50331649           Management        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331650               vmnic2          - vSwitch1           2648.79  428.66    9693.09    5.30   0.00   0.00
  50331651     Shadow of vmnic2        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331652               vmnic3          - vSwitch1           2619.89  425.11    9767.20    5.33   0.00   0.00
  50331653     Shadow of vmnic3        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331654                 vmk1     vmnic2 vSwitch1           2648.79  428.66    9683.65    5.29   0.00   0.00
  50331655                 vmk2     vmnic3 vSwitch1           2619.89  425.11    9757.57    5.33   0.00   0.00

   PORT-ID              USED-BY  TEAM-PNIC DNAME              PKTTX/s  MbTX/s    PKTRX/s  MbRX/s %DRPTX %DRPRX
  33554433           Management        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554434               vmnic0          - vSwitch0             10.40    0.05      58.88    0.09   0.00   0.00
  33554435     Shadow of vmnic0        n/a vSwitch0              0.00    0.00       0.00    0.00   0.00   0.00
  33554436                 vmk0     vmnic0 vSwitch0             10.40    0.05       9.03    0.01   0.00   0.00
  50331649           Management        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331650               vmnic2          - vSwitch1           2757.38  441.99    9998.97    5.47   0.00   0.00
  50331651     Shadow of vmnic2        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331652               vmnic3          - vSwitch1           2721.07  446.20   10197.19    5.57   0.00   0.00
  50331653     Shadow of vmnic3        n/a vSwitch1              0.00    0.00       0.00    0.00   0.00   0.00
  50331654                 vmk1     vmnic2 vSwitch1           2757.38  441.99    9988.96    5.47   0.00   0.00
  50331655                 vmk2     vmnic3 vSwitch1           2721.07  446.20   10187.96    5.57   0.00   0.00



[irix]

Laut dem esxtop Auszug sind beide VMK bzw. die vmnics gleichmaessig ausgelastet. Wo liegt denn das Problem?

Gruss
Joerg

[querdenker]

Das Problem ist, dass ich gerne iSCSI über mehrere NIC fahren möchte. Damit ich bei den VM's nicht als Limit der Netzwerkkarte stosse.
Weil das ist im Moment mein Problem. Der ganze Traffic an meinem iSCSI Server kommt von den ESX Servern nur über 1 NIC am iSCSI Server an.

Das muss doch möglich sein, dass der ESX Host über beide NIC's gleichzeitig arbeiten kann. (eben RR)

Habe ich irgendwo einen Denkfehler???

[irix]

Der ESXi sendet ueber beide NICs ... das zeigt ESXTOP nun sehr deutlich.

1. Zeig uns mal die eingebundenen Targets im ESXi
2. Wenn deine Targets in unterschiedlichen Subnetzen liegen wuerden dann waere dies evtl. besser. Aber das haengt stark vom "Storage" ab

Gruss
Joerg

[bla!zilla]

Dein iSCSI Target ist aber das Problem, nicht der Software Initiator des ESXi. Du hast nur ein iSCSI Target und zu dem mehrere Sessions. Insofern limitiert dein Linux Hobel.

[querdenker]

@bla!zilla

Mhh mein iSCSI Target ist so konfiguriert. Sehe da keinen Fehler.

Code: Alles auswählen

\------> iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.97f577b57613
        \-------> tpgt_1  TargetAlias: LIO Target
         TPG Status: ENABLED
         TPG Network Portals:
                 \-------> 10.10.12.XX:3260
                 \-------> 10.10.12.XX:3260
         TPG Logical Units:
                 \-------> lun_0/0fb89f29dd -> target/core/iblock_0/lun01
                 \-------> lun_1/e51197a563 -> target/core/iblock_1/lun02
\------> iqn.2003-01.org.linux-iscsi.iscsitest01.x8664:sn.23c39e2c3bee
        \-------> tpgt_1  TargetAlias: LIO Target
         TPG Status: ENABLED
         TPG Network Portals:
                 \-------> 10.10.12.XX:3260
                 \-------> 10.10.12.XX:3260
         TPG Logical Units:
                 \-------> lun_0/2ea6354a29 -> target/core/iblock_0/lun01
                 \-------> lun_1/346e38484a -> target/core/iblock_1/lun02



[bla!zilla]

Poste bitte mal welche Targets du unter VMware konfiguriert hast.

[mbreidenbach]

Soweit ich sehe sind da doch alle iSCSI IPs im selben Subnetz.

Ich würde das in zwei getrennte Subnetze ändern so daß ein vmkernel über genau ein NIC mit genau einem Storageport kommuniziert.

[querdenker]

Poste bitte mal welche Targets du unter VMware konfiguriert hast.

Da habe ich die zwei IP Adressen eingetragen von dem Linux Server.

Soweit ich sehe sind da doch alle iSCSI IPs im selben Subnetz.

Ja das ist richtig. Habe dies aber auch schon versucht mit dem gleichen Ergebnis

Ich würde das in zwei getrennte Subnetze ändern so daß ein vmkernel über genau ein NIC mit genau einem Storageport kommuniziert.

Kannst du mir sagen, wie ich die Targets auf der Linux Kiste konfigurieren soll?

- 2 Targets mit beiden LUN's oder
- Pro LUN 1 Target erstellen? oder
- 4 Targets mit je einem LUN pro IP

Ich denke auch, dass der Fehler bei mit in der Linux-iSCSI Konfiguration liegt.

Danke

[querdenker]

Es funktioniert jetzt!

Das Problem war der ESXi Host! Ich habe einen komplett neu installiert und dann hat es auf diesem funktioniert!

Ich komme so auf ca. 290 MB/s mit 3 Netzwerkkarten und RR.

Konfiguriert ist es jetzt so, dass ich 1 Target erstellt habe, welches zwei LUN's beinhaltet und über 3 IP Adressen angesprochen wird.
Das iSCSI Framework "LIO" funktioniert bestens mit ESXi 5.1.

Der Tip von "mbreidenbach" mit verschiedenen Subnetzen habe ich auch noch umgesetzt.

cu