VMware-Forum

Hallo zusammen,

ich habe mir für meine Testumgebung eine "iSCSI-SAN" gebaut.
Ich habe 2x 1GB NICs in verschiebenen Netzen drin (192.168.100.x = Mgmt, 192.168.101.x = iSCSI).
Mein ESXi-Server hat ebenfalls 2x 1GB NICs mit der gleichen Aufteilung wie die SAN.

Konfiguriere ich im SW-iSCSI-Initiator die 101er-Adresse als Dynamischen Target-Server, dann habe ich nach dem HBA-Rescan auch noch die 100er-Adresse drin und automatisch 2 Pfade zur LUN welche ich mittels Round-Robin nutzen kann.

Frage 1: Laut diversen Seiten und der VCP4-Prüfung muss das SW-iSCSI-Multipathing/LoadBalancing per CLI konfiguriert werden.
z.B.
http://yourmacguy.wordpress.com/2009/11/09/vsphere-iscsi-multipathing/
Warum kann ich dann ohne diese Konfigurationsarbeiten RR über beide Wege nutzen?

Frage 2: Wie kommt der ESXi überhaupt dazu den 2. NIC als weiteren Pfad zu nehmen? Habe ich nie konfiguriert und wenn ich die ungewollte Verbindung lösche taucht die nach einem Rescan wieder auf.

Mal schauen ob hier jemand eine Erklärung für mich hat.

Gruß

Jens L.

Jens L. hat geschrieben:..
Frage 1: Laut diversen Seiten und der VCP4-Prüfung muss das SW-iSCSI-Multipathing/LoadBalancing per CLI konfiguriert werden.
z.B.
http://yourmacguy.wordpress.com/2009/11/09/vsphere-iscsi-multipathing/
Warum kann ich dann ohne diese Konfigurationsarbeiten RR über beide Wege nutzen?

Das was du ueber die GUI konfigurierst ist nur die Path Policy. Das was du aber ueber CLI (esxcli)machen must ist das Binding der VMKs an den swISCSI HBA. Im Idealfall stehen hiner den VMKs ja verschiedene pNICs.
Mit der naechsten Version geht alles ueber die GUI.

Gruss
Joerg

Hallo Jörg,

wo ist hier jetzt mein Hänger....ich kann über beide vmk (jeweils eine eigene pNic) auf die iSCSI-Disk zugreifen ohne weitere Konfiguration.
Ich kann ein Kabel ziehen und es wird auf den zweiten Pfad geswitcht und umgedreht.
D.h. doch das beide vmks an den SW-iSCS-HBA gebunden sein müssen...oder?

Gruß

Jens L.

Hallo Jens

Du hast keinen Hänger
Per default hat der SWiSCSI Zugang zu allen VMkerneln, das ist aber nicht erwünscht wenn man den Traffic sauber trennen will.

Schau Dir mal untenstehendes Script an. Des Rätsels Auflösung liegt in den zwei letzten Zeilen

Du kannst beinahe alles über die GUI konfigurieren. Einzig die Zuordnung des SWiSCSI Initiators an die ensprechenden VMkernel und das Jumbo Framing muss per CLI erfolgen. Wird das nicht gemacht, versucht der ESXi über alle möglichen Wege (sprich VMkernel) das Storage zu erreichen.

Grundätzlich gilt, dass für iSCSI ein dezidiertes Netzwerksegment verwendet werden soll. Dieses muss komplett vom restlichen LAN isoliert sein. Idealerweise nimmt man hier zwei zusätzliche Switches.
Je nach verwendetem Storage kommt es nun darauf an, ob die Switche auch noch miteinander verbunden werden und wie das Storage und dessen Controllerports an die beiden Switche angeschlossen werden.
Ebenfalls abhängig vom Storage ist, wie die IP Adressierung zu erfolgen hat. Alles in einem Subnet oder getrennte Subnetze.

Nachtrag: Ebenfalls vom verwendeten Storage ist die Pathpolicy abhängig. Auf einem Storage mit active/passive Controllern ist Round Robin eine schlechte Wahl

; vSwitch
; Erstelle vSwitch2
esxcfg-vswitch –a vSwitch2

; Aktiviere Jumbo Frames
esxcfg-vswitch –m 9000 vSwitch2


;VMKernel
; Erstelle VMkernel iSCSI1
esxcfg-vswitch –A iSCSI1 vSwitch2

; Setze IP Adresse und Jumbo Frames
esxcfg-vmknic –a –i 192.168.101.101 –n 255.255.255.0 –m 9000 iSCSI1

; Erstelle VMkernel iSCSI2
esxcfg-vswitch –A iSCSI2 vSwitch2

; Setze IP Adresse und Jumbo Frames
esxcfg-vmknic –a –i 192.168.101.102 –n 255.255.255.0 –m 9000 iSCSI2


; Netzwerkkarten
; vmnic1 an vSwitch2 binden
esxcfg-vswitch –L vmnic1 vSwitch2

; vmnic2 an vSwitch2 binden
esxcfg-vswitch –L vmnic2 vSwitch2

; Explizites Zuordnen der Netzwerkkarten zu VMkernel Ports
; --> per Deault werden alle NICs am Switch allen VMkernel zugewiesen.
; --> Überflüssige Bindungen löschen

; Lösche vmnic1 bei iSCSI2
esxcfg-vswitch –p iSCSI2 –N vmnic1 vSwitch2

; Lösche vmnic2 bei iSCSI1
esxcfg-vswitch –p iSCSI1 –N vmnic2 vSwitch2


; SWiSCSI
; SWiSCSI Initiator aktivieren
esxcfg-swiscsi –e

; Der iSCSI Initiator bekommt eine vmhba Nummer -> nachschauen
; Die iSCSI VMKernel bekommen vmk Nummern -> nachschauen

; SWiSCSI an vmk binden
esxcli swiscsi nic add –n vmk1 –d vmhba33
esxcli swiscsi nic add –n vmk2 –d vmhba33

Gruss
Chregu

Hi!
Lies dir mal das hier durch, da wird alles recht anschaulich erklärt...:
http://virtualgeek.typepad.com/virtual_ ... phere.html

Grüße,
jörg

Hallo zusammen,

also limitiere ich mit der CLI-Konfiguration den SW-iSCSI-HBA auf genau die vmknics die angebe, anstatt den Kollegen alle verwenden zu lassen, die er für richtig hält. Richtig?

@Tschoergez

Danke für den Link, werde ich mal durch arbeiten und testen.

Gruß

Jens L.

Jens L. hat geschrieben:also limitiere ich mit der CLI-Konfiguration den SW-iSCSI-HBA auf genau die vmknics die angebe, anstatt den Kollegen alle verwenden zu lassen, die er für richtig hält. Richtig?

Ja, das ist korrekt. Ebenfalls Jumbo Frames auf dem vSwitch und VMkernel lassen sich (noch) nicht per GUI konfigurieren.

Gruss
Chregu

Guuutt...
mit welchem Kommando kann ich prüfen welche vmknics der SW-iSCSI-HBA verwendet?
Habe da mit "esxcli swiscsi" nix gefunden...oder war ich nur blind?

Gruß

Jens L.

EDIT: Ich habe es gefunden. Das Kommando lautet

Danke

EDIT 2: ...oder doch nicht?


Erst zeigt er mir beide vmknics am vmhba34 und wenn ich einen entfernen will is der nicht da?! Versteh ich nicht.

Geh mal in die Einstellung vom vSwitch und setz mal eine NIC auf Disabled.

Aber die Ausgabe sieht etwas seltsam aus bei Dir, vor allem sollte sie leer sein, wenn Du per CLI noch garkeine NICs gebunden hast...

Hallo zusammen ,

ich denke das hier wäre das richtige.

Mit den Jumbo Frames hab ich bis jetzt auch keinen Erfolg.
Nach Erhöhung der MTU auf 5000 hab ich noch ca 2MB/s.

ESXi

Switch Name Num Ports Used Ports Configured Ports MTU Uplinks
iSCSI-LAN 128 3 128 5000 vmnic1

PortGroup Name VLAN ID Used Ports Uplinks
iSCSI 0 1 vmnic1

MTU vom vmk1 siehe oben.

iSCSI-Target Konfiguration

root@n550:~# ifconfig -a eth1
eth1 Link encap:Ethernet Hardware Adresse 00:30:18:aa:50:e5
inet Adresse:192.168.101.103 Bcast:192.168.101.255 Maske:255.255.255.0
inet6-Adresse: fe80::230:18ff:feaa:50e5/64 Gültigkeitsbereich:Verbindung
UP BROADCAST RUNNING MULTICAST MTU:5000 Metrik:1
RX packets:9171 errors:0 dropped:0 overruns:0 frame:0
TX packets:12329 errors:0 dropped:0 overruns:0 carrier:0
Kollisionen:0 Sendewarteschlangenlänge:1000
RX bytes:961510 (938.9 KiB) TX bytes:12634501 (12.0 MiB)
Interrupt:29 Basisadresse:0xa000

dazwischen ist nur ein 2m Cat6 Kabel.
...habe ich mal wieder etwas vergessen?

Gruß

Jens L.

kann der phys. Switch denn Jumbo-Frames?
Hattest Du vorher im Netzwerk den Engpass, oder kann es sein, dass die Jumbo Frames gar keinen Vorteil bringen würden bei Dir?

Hallo Tschoergez,

dazwischen ist nur ein 2m Cat6 Kabel.

Den Switch hab ich erstmal weg gelassen und ein Kabel gezogen.

Ich vermute das ich irgendwo in der Netzwerkkonfig vom iSCSI die Ursache vom Engpass habe. Ich hatte max 16MB/s per iSCSI, aber per CIFS auf die gleiche Büchse ca 65MB/s, was bei dem Teil und der Konfiguration das Maximum ist. (nicht vergessen, Eigenbau-SAN für Testzwecke).

Gruß

Jens L.