Erfahrungsberichte Software initiator?

[parkesel]

Hallo Leute,

Muss wieder mal auf eure Erfahrung zurückgreifen.

Ich muss demnächst einen HA cluster mit Vspere aufsetzen.

ich habe 3 dl360 g6 und eine MSA2023i dualcontroller.

für iscsi ist eine dualport nic gerechnet pro server.

ich habe zwar schon einige DRS Testumgebungen aufgebaut aber ein multipath Szenario habe ich nur mit Xen konfiguriert.
Die verkabelung in kreuz versteh ich ja soweit nur liest man viel das esx mit iscsi und multipath irgendwie heikel zu konfigurieren ist. Es darf nur ein uplink aktiv sein usw.

Meine Frage würdet ihr einen Hardware HBA nehmen? Taugt der software initiator etwas? Funktioniert damit Multipath Problemlos? Hat jemand ein gutes iscsi Multipath Docu?

Was währe mit Hardware HBA übernimmt dann dieser das Multipath?

Danke Leute für eure grosse Hilfe.

mfg

Helmut

[irix]

Also das ist doch in 15Min fuer den ersten und dann nochmal 10Min fuer die anderen Hosts fix eingerichtet und jeder Storage $vendor hat ein Best Practice fuer sein jeweiliges $device.

1. Passenden IQN aussuchen und das SwISCSI aktivieren
2. Extra vSwitch anlegen
3. 2 VMKs erstellen und die Zuweisung zu den pNICs machen und die jeweils andere pNIC als Standby definieren
4. Die VMKs auf den SWISCSI binden
5. Je nach dem ueber welches Plugin das Storage angesprochen werden die gewuenschte Path Policy einstellen und Rebooten. Dann bekommen die gemapten LUNs gleich die passende Policy
6. Target(s) zuweisen

Der Rest mit den LUNs ist wie gehabt. Ich glaube das ich die entsprechenden CMDs schon mal gepostet hab.

Gruss
Joerg

[parkesel]

Danke Jörg für deine schnelle Antwort

Ich werde deine cmd lets suchen, das binden der VMKs zu Swinitiator ist nur mit der command line möglich oder?

Hättest du nen Tip für nen iscsi Target mit den ich multipath testen könnte?

Vielen dank für deine prompte Hilfe.

[irix]

Falls du nichts findest sag bescheid und ich kopiere sie aus meiner letzten Projektdoku heraus.

Du kannst das mit jedem iSCSI Target testen und das braucht auch nur eine Strippe haben. Wenn du eine HW Kiste ueber hast dann nimm die TRIAL (60 Tage)von Open-E und das Teil steht in 30min. Die "Light" Version ist auf iSCSI/2TB/1xGbE begrenzt und sollte es auch tun.

Gruss
Joerg

[parkesel]

Hallo Jörg

Vielen Dank für deine Hilfe.

Habe mir das kurz angeschaut passt das so?

http://img144.imageshack.us/img144/2608/esx.jpg




Am esx1 lege ich einen Vswitch namens vswitch2 an, an diesen binde ich die 2 Netzwerkkarten.(nic5+6) Siehe Bild
Ich erstelle im switch 2 neue vmkernel Ports
iscsi 1 10.0.0.100
iscsi 2 10.0.1.100

Unter edit setze ich den hacken
overwrite vswitch failover order

und bei iscsi1 wird nic 6 als unused verschoben
und bei iscsi2 wird nic 5 als unused verschoben
----------------------------------------------------------
Selbes Spiel bei esx 2

Am esx1 lege ich einen Vswitch namens vswitch2 an, an diesen binde ich die 2 Netzwerkkarten.(nic7+ 8") Siehe Bild
Ich erstelle im switch 2 neue vmkernel Ports
iscsi1 10.0.0.200
iscsi2 10.0.1.200

Unter edit setze ich den hacken
overwrite vswitch failover order

und bei iscsi1 wird nic 8 als unused verschoben
und bei iscsi2 wird nic 7 als unused verschoben

Nun aktiviere ich noch den software initiator und binde die 2 vmks zu iscsi initiator

esxcli swiscsi nic add -n vmk0 -d vmhba33
esxcli swiscsi nic add -n vmk1 -d vmhba33

Das Selbe am Esx2

Am iscsi initiator trage ich den Target ein, nach einen rescan sehe ich die gewünschte LUN unter Path stelle ich Round Robin ein oder ?


Passt das so im groben, ist damit multipath aktiv?

Vielen Dank für deine Nützlichen Tips

mfg

Helmut

[irix]

Ja soweit ok aus meiner Sicht.

1. Falls mal Gaeste direkt per iSCSI Speicher adressieren wollen must du noch eine Virtual Machine Port mit auf den Switch tun welcher dann ruhig beide pNICS zu gleichen Zeit benutzen darf.
2. Bei einem Test mit IOmeter must du im "esxtop -> network" sehen das beide VMKs Daten transferieren.
3. Sofern supportet kannst du noch Jumbo Frames aktivieren.
4. Teste in dem du Kabel/Switch und wenn es geht auch einen SP abschaltest.

Bezueglich der Policys... haengt das vom Strorage und seinen Best Practice ab.
Wenn man nicht in der GUI klicken will zur Kontrolle und Aenderungen kann man folgendes tun

Code: Alles auswählen

esxcli nmp device list
...
naa.6090a028d03dcfab6188c42c000080ea
    Device Display Name: EQLOGIC iSCSI Disk (naa.6090a028d03dcfab6188c42c000080ea)
    Storage Array Type: VMW_SATP_EQL
    Storage Array Type Device Config:
    Path Selection Policy: VMW_PSP_RR
    Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0;lastPathIndex=1: NumIOsPending=0,numBytesPending=0}
    Working Paths: vmhba37:C2:T7:L0, vmhba37:C1:T7:L0, vmhba37:C0:T7:L0, vmhba37:C3:T7:L0




Zeigt alle Devices an und ihre Einstellungen. Wir suchen hier "Storage Array Type". Wenn du generelle RoundRobin moechtest dann kannst du die Vorbelegung fuer diesen einen Type aendern so das alle neu mapten LUNs die Einstellung gleich benutzen.

Im Falle meiner Equallogic haben die einen eigenen Typ und dann sieht das so aus

Code: Alles auswählen

esxcli nmp satp setdefaultpsp --satp VMW_SATP_EQL --psp VMW_PSP_RR

und bei einem generischen Storage Type wird "VMW_SATP_DEFAULT_AA" benutzt. Die Voreinstellung wird erst aktiv nach einem Reboot.

Wenn du nun schon unzaehlige LUNs auf alles ESX Hosts gemappt hast und das Umstellen moechtest dann kann folgendes helfen, allerdings musst du das Pattern deinen Gegebenheiten anpassen!

Code: Alles auswählen

for i in `esxcli nmp device list | awk '/^naa/'`;do esxcli nmp device setpolicy --device "$i" --psp VMW_PSP_RR && echo "Set Poliy on $i";done

Das RoundRobin laesst sich noch weiter anpassen jenach dem ob man lieber eine bestimmte Menge an IOPS oder aber Daten als Anlass zum Wechsel nimmt. Die Vorreinstellung sind das alle 1000 IOPS gewechselt wird.

Gruss
Joerg

[parkesel]

Hallo Jörg,

Vielen Dank für deine Tips werde sie schauen umzusetzen.

Danke

[parkesel]

Hallo Jörg,

Weil ich schon dabei bin wie würdest du mir den restlichen aufbau raten?

wieviel weitere nics? pro esx?

1 vswitch mit 2 netzwerkkarten darauf gebunden
- darin Service Console
- vmkernel für HA
- Portgruppe für Vms
--------------------------------------------
das währe das einfachste

oder
1 vswitch mit 1 nic für Service console (management)

weiterer vswitch mit 2 nics gebunden (separates lan) nur mit den anderen 2 nics vom 2ten esx verbunden)
mit
- vmk für HA
- Serviceconsole

------
weiteren vswitch mit 2 nics für vms

Wie machst du das immer?

Danke für deine Tips.

[bla!zilla]

Device Display Name: EQLOGIC iSCSI Disk

Argh... Judas!

[irix]

Das haengt davon ab wieviele pNICs man hat bzw. physikalische Netztrennungen gewaehrleisten muss. Man muss wissen das HA zwingend 2 pNICs braucht in der Form von 2x Aktiv oder zumin. 1xAktiv und 1x Standby.

Ich persoenlich mag es wenn ein vSwitch jeweils PG(s) fuer einen Zweck enthaelt und alle pNICs welche dem Switch zugeordnet sind auch fuer die PG(s) gelten. Dann spiegelt die Networking Ansicht auch den "Verkabelungszustand" wieder. Dieses "Wirrwar" mit den VMK fuer die iSCSI Geschichte nehme ich als einzige Ausnahme der Regel zu Kenntniss. .oO(Das gabs ja zu VI 3.x Zeiten auch so nicht)

Der Standard bei mir waere:
vSwitch1 mit 2x pNIC
- Service Console (Management Netz)
- fuer HA
- bleibt bei den 24 Ports (ist der Default fuer den Default vSwitch!)

vSwitch2 fuer iSCSI mit 2 oder mehr pNICs
- VMKs in einer 1:1 Relation zu den pNICs (Eigene Subnet(s))
- Jumbos aktiv
- beibt bei den 56 Ports(default wenn man selber vSwitches anlegt)
- Alternativ VM Network PG sofern iSCSI direkt ins Guest OS soll

vSwitch mit 2 oder mehr pNICs
- VM Network PG "Foo"
- Portsanzahl erhoeht auf 120

Bei Netztrennungen:
vSwitch mit 3 oder mehr pNICs
- VM Network PG "Bar"
- Portsanzahl erhoeht auf 120


Das sind im Normalfall also 6 pNICS welche Verkabelungstechnisch sich auf Onboard und Zusatzkarten NICs aufteilen und auch auf 2 pSwitche gehen. Das ganze dann mit farbigen Patchkabeln.

Muss man mit weniger auskommen gibts folgende Optimierungen:

vSwitch1 nur 1 pNIC
- SC fuer Management

vSwitch2 mit 2xpNIC fuer iSCSI UND HA
- VMKs wie gehabt
- "Service Console 2" (ueber die Advanced "das.allowNetwork[0] = Service Console 2" wird dem ESX gesagt das er diese SC fuer HA benutzen soll)

Wer ganz Arm dran ist muss die Anzahl der vSwitche reduzieren um somit die pNICs meheren verschiedenen PGs zuordnen zukoennen. Theoretisch reicht ja ein vSwitch aus.


Allgemeines:

Code: Alles auswählen

esxcfg-vswitch -a "vSwitchX:128"

legt einen vSwitch mit 128 Ports an und nach Abzug von 8 Ports fuer die interne Verwaltung bleiben 120 ueber. Wir haben hier 4 Sockel Quad CPU Kisten mit 128GB und 20 pNICs welche mit 70:1 laufen (koennen) und da kann es bei Wartungsarbeiten oder aber wenn HA mal eintreten sollte Eng werden wenn man nur 56 Ports hat. Das spaetere aendern der Ports bedingt einen Host Reboot und somit will man es gleich richtig haben.

HA legt nach 12+3 Sekunden los was mir persoenlich viel zu schnell ist. Ich Erhoehe das auf 2Min weil in dieser Zeit bemerkt man wenn man das falsche Patchkabel gezogen oder aber man ausversehen einen pSwitch neu gebootet hat.

Code: Alles auswählen

das.failuredetectiontime = 120000

Wir haben bei den meisten Kunden eine phy. Trennung was Netze fuer DMZ und internen Kram angeht. Das finden die externen Sicherheitsberater bei den Audits auch immer Prima. Das heist extra vSwitche pNICs und pSwitche fuer alles was zur "DMZ" gehoert.

Gruss
Joerg

[irix]

Device Display Name: EQLOGIC iSCSI Disk

Argh... Judas!

HeHeHeHe... du drueckst deinen Neid aber komisch aus Aber nicht jeder Adam braucht eine EVA.

Gruss
Joerg

[parkesel]

Hallo Allerseits,

Danke für die ausführliche Erklärung

mfg

Helmut

[parkesel]

Halllo Leute,

Hätte noch ein kurze Frage zu meinen oberen Posting, soweit ist es mit multipath ok,
aber was wenn ich als Storage eine Lefthand habe?
Bei der sind pro Node 2 Nics ge teamt also eine IP Adresse und pro cluster 1 ne ISCSI Ip Adresse diese Ip währe dann theoretisch über 4 Wege ereichbar.

Kann ich die konfiguration gleich wie oben machen nur das iscsi1 +2 Ip Adressen im selben Subnetz haben?

Danke Leute

P.s wie macht ihr das managment der lefthand hängt ihr das iscsi netz ins Produktive Netz oder verwendet ihr einen Router welcher lan -- iscsi CMC Port freischaltet.

Vielen Dank