SAN Installation wie ?

[vitux]

Hallo

Ich verstehe nicht ganz wie das mit der SAN installation funktioniert.
Ich lese mehrheitlich von Fibre Channel und Host adapter und verstehe nicht ganz wie das funktionieren soll.
Wir betreiben z.Zt eine Dell PowerEdge 6650 Maschine mit ESX 2 nun wollen wir aufrüsten und SAN betreiben .
Die 2. Maschine soll auch eine Dell PowerEdge 6650 sein mit ESX 2
Muss man noch zusätzlich eine Maschine betreiben für die SAN konfiguration?
Irgendwo muss ja die SAN Software installiert werden.
Was hat das mit Fibre Channel am Hut und dem Host Adapter . Wie muss man die Hardware installieren gibt es eine Detallierte Anleitung ?
Ich wäre froh um eine Antwort

gruss
Vitux

[dnxvmware]

hi,

bin esx-mässig relativ neu, aber durch rumexperimentieren habe ich gesehen, dass die san-karten konfiguration direkt über die weboberfläche funktioniert. einige sankartentreiber sind meineswissens vorhanden, evtl. nachpflegen. werde selbst das gleich abenteuer demnächst haben

[vitux]

Hi
wo stecke ich die SUN Karten ein ? Im ESX Server ?

[stgepopp]

Hallo Vitux,

grundsätzlich folgendes:

die SAN-Installation ist i.d.R. durch den Storagesystem-Hersteller beschrieben, einfach nach Best-Practice-Guide bei EMC, HP, IBM, Dell, Hitachi, FSC, ... suchen. VMware selbst hat zu den EMC-Systemen auch schon WP veröffentlicht.

Wenn Du konkrete Fragen hast, dann sage uns bitte welches Storage-System du eingeführt hast.

Inbetriebnahme (allgemein):

- FC-HBA einbauen (mindestens 2, auf richtige Verteilung auf den PCI-Bussen achten -> Performance)
- FC-Switch-Zoning durchführen (bei einer Dual-Fabric sollte eine ESX-LUN 4-mal gesehen werden)
- FC-Verkabelung
- FC-HBA-WWPN notieren (MUI oder /proc/scsi/lpfcdd oder /proc/scsi/qla...)
- ESX-Server registrieren (manuell mittels o.g. WWPN)
- LUNs zur Verfügung stellen (Performance abhängig vom RAID-Level, an registrierte Hosts connecten, Host-LUN-ID notieren)
- MUI -> Storage Management -> Rescan SAN (Jetzt sollten alle Host-LUN-Ids unter 8 sofort sichtbar sein, falls >8 -> disk.maxlun = ...)
- LUNs mit VMFS versehen und labeln (vmdk-Größe berücksichtigen, Access-Mode==Public)

Das Ganze ist eigentlich nicht schwierig, erfordert aber sehr viel Hintergrundwissen, z.B.:

- Redundanzkonzept
- K-Fall-Konzept
- statische Lastverteilung
- Anzahl/Größe/Performance LUNs
- Cluster (in der Box, accross Boxes, physical-virtual)
- RDM (Raw-Disk-Maps)

Und jetzt noch zu deinen Fragen:
Muss man noch zusätzlich eine Maschine betreiben für die SAN konfiguration?
-> kommt auf die Storage an, bei Dell-Servern vermute ich, dass du eine EMC Clariion hast oder bekommst, diese wird fast ausschließlich zur Konfiguration über Web bedient, benötigt also keinen Extra-Server.
Irgendwo muss ja die SAN Software installiert werden.
-> Ja, wenn du sehr spezielle Storage-SW-Features nutzen willst, wi z.B. Snapshots, ...

Meine Empfehlung:

Wenn du selbst dieses Hintergrundwissen nicht hast oder nicht erwerben willst und in deiner Company kein weiterer Mensch mit diesem Know-How zu finden ist, dann fährst du besser, wenn du diese Inbetriebnahme durch einen Dritten (Storage-Know-How UND VMware ESX KnowHow) erledigen lässt.

Erich

[vitux]

Hallo Erich ,

Das System welches wir betreiben haben nicht wir eingeführt sondern eine externe Firma , welche nicht mehr existiert.
Ich habe Sie übernommern war aber bei der Installation nicht dabei

Wir haben 2x PowerVault 220s im Einsatz .

Vitux

[stgepopp]

Hallo vitux,

das wird wohl auf Jugend forscht rauslaufen, denn die PowerVault 220 ist noch nie für VMware freigegeben worden.

Erich

[vitux]

Hallo Erich ,

das fängt schon gut an !
Es ist ja im Moment nur so , dass ich etwas zusammen stellen muss
( auf Papier ) ob es dann umgesetzt wird ist ein anderes Thema
was würdest du mir empfehlen ?

gruss vitux

[stgepopp]

Hallo Vitux,

versuche folgende Anforderungen per IST-Aufnahme festzustellen:

- Anzahl VMs mit *.vmdk im SAN
- Summe der vmdk-Größen
- Summe der geforderten Transaktionsraten IO/sec (Anwendungsabhängig)
- Summe der geforderten Transferleistung MB/sec (Anwendungsabhängig)
- werden spezielle RAID-Level benötigt: Raid10 für beste Schreibleistung ...
- werden MS-CLustersysteme implementiert
- sind RDMs notwendig
- wird aus dem SAN gebootet

Dann musst Du (der Geschäftsführung) noch folgende Fragen stellen:

- Ist ein K-Fall-Konzept notwendig (Absicherung durch 2. Storagesystem)
- redundante Anbindung zwischen ESX-Server und Storage (2 FC-Pfade)
- Direktanschluß oder über FC-Switche

Die meisten Kunden setzen ein SAN mit 2 FC-Switchen und ein Storagesystem mit 2-4 Hostports. Pro 20-30 VMs eine SAN-LUN, bzw. bei 2 Hostports mindestens 2 Produktiv-LUNs. Das würde bei Dell auf eine CX300 rauslaufen oder auf das kleinere PowerVault 910 (sind beide freigegeben).

Erich

[mab]

Hallo.

Hier soll ein VMware ESX Server 2 an ein SAN-System angeschlossen werden, EMC2 AX100, Qlogic qla2200.
Die RedHat Enterprise Server sind schon angeschlossen, nur VMware läuft nicht.
Ich versuche das qla2200 selbst zu bauen, die kernel-sourcen und -header sind installiert. Doch ein modprobe qla2200 oder qla2300 bringt nur Fehlermeldungen mit vielen "unresolved symbol".
Das gleiche Problem mit den von VMware mitgebrachten Modulen.
Ich hab die Module mit den Flags OSVER=linux SMP=0 oder SMP=1 und auch ohne kompiliert.

Gruß,
Massimo

[stgepopp]

Hallo,

du darfst/musst weder was kompilieren noch installieren.

Der ESX bringt alles mit.

Ablauf:

- Definition der LUN(s) an der AX100 (Navisphere)
- Zoning (Jeder FC-HBA sollte/muss jeden Storage-Prozessor sehen)
- (richtige) Verkabelung
- Registrierung der FC-HBA an der AX100 (Navisphere)
- Definition Storage-Group mit Host(s) und LUN(s)
- MUI -> Options -> Startup Profile (FC-HBA Virtual Machines und NICHT shared mit Service Console, es sei denn du willst vom SAN booten)
- MUI -> Options -> Storage Management -> Rescan SAN

Wenn Du keine LUNs siehst:
- nochmals scannen
- checken welche Host-LUN-Ids die LUNs haben, ggf. Disk.MaxLUN anpassen
- Trouble-Shooting
Files in /proc/scsi/qla2200 und /proc/vmware/vmhba# prüfen und ggf. posten


Erich

[mab]

Das Modul für die qla2200 wird jedoch nicht geladen. Deshalb wird beim scannen auch nichts gefunden.
Die Beschreibung sagt, daß das Modul per modprobe geladen werden soll.

[chexma]

hi,

wenn die eingebaute FC Karte von VMware supported wird, wird das Modul automatisch geladen und in der MUI im Startup Profile angezeigt. Die muss dann den virtuellen Maschinen zugewiesen werden.
Ich würde mal in den Compatibility Guides vom ESX nachschauen ob deine Karte da mit drin ist.
Mit modprobe muss da nichts geladen werden, ich würde mich auch hüten da zu basteln, wenn du weiterhin support von VMware bekommen möchtest.

mfg

Andre

[stgepopp]

Hallo,

poste doch bitte mal die Ausgabe von:

# vmkload_mod -l

# ls -l /proc/scsi/qla2200

# cat /etc/vmware/devnames.conf

und

# ls -l /proc/vmware/scsi/vmhbaN # N -> siehe letztes Kommando für fc-Adapter

Erich

[mab]

Code: Alles auswählen

[root@esx root]# vmkload_mod -l
Name        R/O Addr    Length      R/W Addr    Length      ID Loaded
vmklinux    0x4e8000    0x10000     0x1273d48   0x54000     1  Yes
nfshaper    0x4f8000    0x1000      0x1223938   0x1000      2  Yes
bcm5700     0x4f9000    0x11000     0x12cba20   0xa000      3  Yes
e1000       0x50a000    0xf000      0x1300008   0x6000      4  Yes
megaraid2   0x519000    0x6000      0x130e008   0x3000      5  Yes
mptscsi     0x51f000    0x12000     0x1353a40   0x8000      6  Yes
bond        0x531000    0x2000      0x1378008   0x2000      7  Yes
[root@esx root]# ls -l /proc/scsi/qla2200
ls: /proc/scsi/qla2200: No such file or directory
[root@esx root]# ls -l /proc/scsi/
total 0
dr-xr-xr-x    2 root     root            0 Dec 14 13:31 megaraid
dr-xr-xr-x    2 root     root            0 Dec 14 13:31 mptscsih
-r--r--r--    1 root     root            0 Dec 14 13:31 scsi
dr-xr-xr-x    2 root     root            0 Dec 14 13:31 usb-storage-0
dr-xr-xr-x    2 root     root            0 Dec 14 13:31 usb-storage-1
[root@esx root]# cat /etc/vmware/devnames.conf
015:02.0        scsi    vmhba0
018:02.1        nic     vmnic0
020:05.0        scsi    vmhba1
020:05.1        scsi    vmhba2
021:06.0        nic     vmnic1
[root@esx root]#  ls -l /proc/vmware/scsi/vmhba0/
total 0
-rw-r--r--    1 root     root            0 Dec 14 13:31 0:0
-rw-r--r--    1 root     root            0 Dec 14 13:31 stats

[stgepopp]

Hallo,

du hast definitiv keinen FC-HBA-Treiber geladen. Als letzte Möglichkeit (um rauszufinden was im Server steckt) bleibt jetzt noch (bitte posten):

# lspci
# lspci -n

Erich

[mab]

Hallo. Soweit war ich schon. Vorletzter Eintrag ist die QLogic-Karte..

Code: Alles auswählen

[root@esx root]# lspci
00:00.0 Host bridge: Intel Corporation: Unknown device 2600
00:01.0 PCI bridge: Intel Corporation: Unknown device 2601
00:02.0 PCI bridge: Intel Corporation: Unknown device 2608
00:03.0 PCI bridge: Intel Corporation: Unknown device 2603
00:04.0 PCI bridge: Intel Corporation: Unknown device 2604
00:05.0 PCI bridge: Intel Corporation: Unknown device 2605
00:06.0 PCI bridge: Intel Corporation: Unknown device 2606
00:07.0 PCI bridge: Intel Corporation: Unknown device 2607
00:08.0 Host bridge: Intel Corporation: Unknown device 260c
00:09.0 RAM memory: Intel Corporation: Unknown device 2620
00:09.1 RAM memory: Intel Corporation: Unknown device 2621
00:09.2 RAM memory: Intel Corporation: Unknown device 2622
00:09.3 RAM memory: Intel Corporation: Unknown device 2623
00:09.4 RAM memory: Intel Corporation: Unknown device 2624
00:09.5 RAM memory: Intel Corporation: Unknown device 2625
00:09.6 RAM memory: Intel Corporation: Unknown device 2626
00:09.7 RAM memory: Intel Corporation: Unknown device 2627
00:0a.0 Host bridge: Intel Corporation: Unknown device 260c
00:0b.0 RAM memory: Intel Corporation: Unknown device 2620
00:0b.1 RAM memory: Intel Corporation: Unknown device 2621
00:0b.2 RAM memory: Intel Corporation: Unknown device 2622
00:0b.3 RAM memory: Intel Corporation: Unknown device 2623
00:0b.4 RAM memory: Intel Corporation: Unknown device 2624
00:0b.5 RAM memory: Intel Corporation: Unknown device 2625
00:0b.6 RAM memory: Intel Corporation: Unknown device 2626
00:0b.7 RAM memory: Intel Corporation: Unknown device 2627
00:0c.0 Host bridge: Intel Corporation: Unknown device 260c
00:0d.0 RAM memory: Intel Corporation: Unknown device 2620
00:0d.1 RAM memory: Intel Corporation: Unknown device 2621
00:0d.2 RAM memory: Intel Corporation: Unknown device 2622
00:0d.3 RAM memory: Intel Corporation: Unknown device 2623
00:0d.4 RAM memory: Intel Corporation: Unknown device 2624
00:0d.5 RAM memory: Intel Corporation: Unknown device 2625
00:0d.6 RAM memory: Intel Corporation: Unknown device 2626
00:0d.7 RAM memory: Intel Corporation: Unknown device 2627
00:0e.0 Host bridge: Intel Corporation: Unknown device 260c
00:0f.0 RAM memory: Intel Corporation: Unknown device 2620
00:0f.1 RAM memory: Intel Corporation: Unknown device 2621
00:0f.2 RAM memory: Intel Corporation: Unknown device 2622
00:0f.3 RAM memory: Intel Corporation: Unknown device 2623
00:0f.4 RAM memory: Intel Corporation: Unknown device 2624
00:0f.5 RAM memory: Intel Corporation: Unknown device 2625
00:0f.6 RAM memory: Intel Corporation: Unknown device 2626
00:0f.7 RAM memory: Intel Corporation: Unknown device 2627
00:10.0 Host bridge: Intel Corporation: Unknown device 2610
00:10.1 Host bridge: Intel Corporation: Unknown device 2611
00:10.2 Host bridge: Intel Corporation: Unknown device 2612
00:11.0 Host bridge: Intel Corporation: Unknown device 2613
00:11.1 Host bridge: Intel Corporation: Unknown device 2614
00:11.2 Host bridge: Intel Corporation: Unknown device 2615
00:13.0 Host bridge: Intel Corporation: Unknown device 2617
00:13.1 Host bridge: Intel Corporation: Unknown device 2618
00:13.2 Host bridge: Intel Corporation: Unknown device 2619
00:13.3 Host bridge: Intel Corporation: Unknown device 261a
00:13.4 Host bridge: Intel Corporation: Unknown device 261b
00:13.5 Host bridge: Intel Corporation: Unknown device 261c
00:13.6 Host bridge: Intel Corporation: Unknown device 261d
00:13.7 Host bridge: Intel Corporation: Unknown device 261e
00:1d.0 USB Controller: Intel Corporation: Unknown device 24d2 (rev 02)
00:1d.1 USB Controller: Intel Corporation: Unknown device 24d4 (rev 02)
00:1d.2 USB Controller: Intel Corporation: Unknown device 24d7 (rev 02)
00:1d.7 USB Controller: Intel Corporation: Unknown device 24dd (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801BAM PCI (rev c2)
00:1f.0 ISA bridge: Intel Corporation: Unknown device 24d0 (rev 02)
00:1f.1 IDE interface: Intel Corporation: Unknown device 24db (rev 02)
0e:00.0 PCI bridge: Intel Corporation: Unknown device 0329 (rev 09)
0e:00.2 PCI bridge: Intel Corporation: Unknown device 032a (rev 09)
0f:02.0 RAID bus controller: Symbios Logic Inc. (formerly NCR) LSI Logic MegaRAID  (rev 01)
12:02.0 Ethernet controller: BROADCOM Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 10)
12:02.1 Ethernet controller: BROADCOM Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 10)
13:00.0 PCI bridge: Intel Corporation: Unknown device 0330 (rev 06)
13:00.2 PCI bridge: Intel Corporation: Unknown device 0332 (rev 06)
14:05.0 SCSI storage controller: Symbios Logic Inc. (formerly NCR) LSI Logic Fusion MPT 53C1030 (rev 08)
14:05.1 SCSI storage controller: Symbios Logic Inc. (formerly NCR) LSI Logic Fusion MPT 53C1030 (rev 08)
15:06.0 Ethernet controller: Intel Corporation 8254NXX Gigabit Ethernet Controller (rev 04)
15:07.0 Fiber Channel: QLogic Corp QLA200 (rev 03)
16:00.0 VGA compatible controller: ATI Technologies Inc Radeon VE QY

[root@esx root]# lspci -n
00:00.0 Class 0600: 8086:2600
00:01.0 Class 0604: 8086:2601
00:02.0 Class 0604: 8086:2608
00:03.0 Class 0604: 8086:2603
00:04.0 Class 0604: 8086:2604
00:05.0 Class 0604: 8086:2605
00:06.0 Class 0604: 8086:2606
00:07.0 Class 0604: 8086:2607
00:08.0 Class 0600: 8086:260c
00:09.0 Class 0500: 8086:2620
00:09.1 Class 0500: 8086:2621
00:09.2 Class 0500: 8086:2622
00:09.3 Class 0500: 8086:2623
00:09.4 Class 0500: 8086:2624
00:09.5 Class 0500: 8086:2625
00:09.6 Class 0500: 8086:2626
00:09.7 Class 0500: 8086:2627
00:0a.0 Class 0600: 8086:260c
00:0b.0 Class 0500: 8086:2620
00:0b.1 Class 0500: 8086:2621
00:0b.2 Class 0500: 8086:2622
00:0b.3 Class 0500: 8086:2623
00:0b.4 Class 0500: 8086:2624
00:0b.5 Class 0500: 8086:2625
00:0b.6 Class 0500: 8086:2626
00:0b.7 Class 0500: 8086:2627
00:0c.0 Class 0600: 8086:260c
00:0d.0 Class 0500: 8086:2620
00:0d.1 Class 0500: 8086:2621
00:0d.2 Class 0500: 8086:2622
00:0d.3 Class 0500: 8086:2623
00:0d.4 Class 0500: 8086:2624
00:0d.5 Class 0500: 8086:2625
00:0d.6 Class 0500: 8086:2626
00:0d.7 Class 0500: 8086:2627
00:0e.0 Class 0600: 8086:260c
00:0f.0 Class 0500: 8086:2620
00:0f.1 Class 0500: 8086:2621
00:0f.2 Class 0500: 8086:2622
00:0f.3 Class 0500: 8086:2623
00:0f.4 Class 0500: 8086:2624
00:0f.5 Class 0500: 8086:2625
00:0f.6 Class 0500: 8086:2626
00:0f.7 Class 0500: 8086:2627
00:10.0 Class 0600: 8086:2610
00:10.1 Class 0600: 8086:2611
00:10.2 Class 0600: 8086:2612
00:11.0 Class 0600: 8086:2613
00:11.1 Class 0600: 8086:2614
00:11.2 Class 0600: 8086:2615
00:13.0 Class 0600: 8086:2617
00:13.1 Class 0600: 8086:2618
00:13.2 Class 0600: 8086:2619
00:13.3 Class 0600: 8086:261a
00:13.4 Class 0600: 8086:261b
00:13.5 Class 0600: 8086:261c
00:13.6 Class 0600: 8086:261d
00:13.7 Class 0600: 8086:261e
00:1d.0 Class 0c03: 8086:24d2 (rev 02)
00:1d.1 Class 0c03: 8086:24d4 (rev 02)
00:1d.2 Class 0c03: 8086:24d7 (rev 02)
00:1d.7 Class 0c03: 8086:24dd (rev 02)
00:1e.0 Class 0604: 8086:244e (rev c2)
00:1f.0 Class 0601: 8086:24d0 (rev 02)
00:1f.1 Class 0101: 8086:24db (rev 02)
0e:00.0 Class 0604: 8086:0329 (rev 09)
0e:00.2 Class 0604: 8086:032a (rev 09)
0f:02.0 Class 0104: 1000:1960 (rev 01)
12:02.0 Class 0200: 14e4:1648 (rev 10)
12:02.1 Class 0200: 14e4:1648 (rev 10)
13:00.0 Class 0604: 8086:0330 (rev 06)
13:00.2 Class 0604: 8086:0332 (rev 06)
14:05.0 Class 0100: 1000:0030 (rev 08)
14:05.1 Class 0100: 1000:0030 (rev 08)
15:06.0 Class 0200: 8086:1027 (rev 04)
15:07.0 Class 0c04: 1077:6312 (rev 03)
16:00.0 Class 0300: 1002:5159

[stgepopp]

Hallo,

diese Zeile:

15:07.0 Fiber Channel: QLogic Corp QLA200 (rev 03)

sagt mir, dass ein FC-HBA QLA200 auf dem Bus 15 als Device 7 sitzt.

Und diese Zeile:

15:07.0 Class 0c04: 1077:6312 (rev 03)

welche HW-Vendor- und Device-ID sich dahinter verbirgt.

Ein

# grep 0x1077 /etc/vmware/vmware-devices.map

liefert die Info, dass der VMkernel diesen HBA unterstützt und auch einen Treiber dafür kennt: qla2300_7xx

Checke bitte nochmals deine ESX-Konfig:

# vmkpcidivy -i

Alle Vorgaben bestätigen, bei der Ausgabe zum FC-HBA sollte hier ein [v] zu sehen sein -> ändern -> Reboot

Danach muss unter /proc/scsi/qla2300 etwas zu sehen sein. Evtl. musst du der HW-Erkennung nachhelfen: -> # kudzu

Erich