[Solved] Grundsatzfrage Anbindung FC Esxi<>Fujitsu Eternus DX100

[AFri]

Hallo zusammen,

wir haben eine bestehende VMware Infrastruktur mit 2 Fujitsu Servern welche an eine Fujitsu Eternus DX100 via FC angebunden sind. Es funktioniert alles wunderbar und wurde damals von einer Firma gemacht.
Nun haben wir einen 3. Server FJ Primergy RX2530 M4 bekommen, der in dieses Cluster aufgenommen werden soll. Ich habe den Server eingebaut und auch die beiden FC Ports per Glasfaser an die beiden freien Ports der Eternus angeschlossen. Dort habe ich in der Konfiguration auch die Ports, Hosts mit WWN exc. eingestellt, hat alles geklappt.

Leider zeigt aber der neue ESXi Server keinen Link auf den FC Ports an. Die beiden grünen LEDs der Ports blinken nur im Takt. Im BIOS habe ich schon einmal geschaut, aber dort sind die Standardeinstellungen für meine Begriffe ok. Bei den bestehenden Servern leuchten die grünen LEDs dauerhaft und bei Datenverkehr blinken logischerweise die gelben LEDs.

Frage:
Was ist (nur ganz allgemein) noch am Server / in der ESXi Einstellung zu machen, damit ich dem Server soz. mitteile, verbinde dich auf diesen 2 FC Ports mit der Eternus?! Sind da Einstellungen direkt im Server oder in der ESXi Konfiguration zu machen?

Danke für jeden Tipp!

[irix]

Zeige uns ein

Code: Alles auswählen

esxcfg-scsi -a

1. Am ESX Host gibts nicht viel mehr als in Rescan zu machen
2. Am Storage muessen die ACLs angepasst werden. Der neue Server/HBA/WWN muss Zugriff erhalten auf die vorhandenen Volumes(LUNs)

Gruss
Joerg

[AFri]

Nach Eingabe des Befehls kommt nur "not found"?!
Mit

Code: Alles auswählen

esxcli storage core Adapter list

bekomme ich die Ausgabe der 2 "lpfc" Adapter vmhba2 und vmhba3 mit den WNNs usw. angezeigt.
Welche Werte wären denn für euch relevant zu wissen?

Noch eine Frage zum "Rescan". Ich habe diesbezüglich nur im Bios des Servers unter den FC Einstellungen eine solche Option gefunden. Dort wird aber nach ein paar Sekunden immer angezeigt, dass keine Devices gefunden wurden. Oder kann man auch auf dem ESXi direkt einen Rescan machen?

Auf der Storage habe ich eigentlich die beiden neuen WNNs zur bestehenden Host und Portgruppe hinzugefügt, welche sowieso schon Zugriff auf die 3 LUNs dort haben. Dachte eben, dass das dann gleich klappt :-/

[AFri]

Also hier nochmal die Ausgabe von

Code: Alles auswählen

[root@LBLMEEVMS03:~] esxcfg-scsidevs -a
vmhba0  vmw_ahci          link-n/a  sata.vmhba0                             (0000:00:11.5) Intel Corporation Lewisburg SATA AHCI Controller
vmhba1  vmw_ahci          link-n/a  sata.vmhba1                             (0000:00:17.0) Intel Corporation Lewisburg SATA AHCI Controller
vmhba2  lpfc              link-n/a  fc.200000109b59c8c2:100000109b59c8c2    (0000:18:00.0) Emulex Corporation Emulex LightPulse LPe32000 PCIe Fibre Channel Adapter
vmhba3  lpfc              link-n/a  fc.200000109b59c8c3:100000109b59c8c3    (0000:18:00.1) Emulex Corporation Emulex LightPulse LPe32000 PCIe Fibre Channel Adapter


Es macht mich wie gesagt stutiz, das kein Link erkannt wird und die beiden grünen LED wie gesagt an den 2 Ports hinten im Takt blinken.
In der Config der Eternus habe ich auch versucht, die beiden Ports per manueller Eingabe ihrer WWN Portnummer hinzuzufügen. Er macht das zwar ohne Fehler, aber es ändert nichts an dem Zustand.

Zur völligen Verwirrung wird mir nach dem Einspielen der letzten Updates auf dem ESXi Server nun noch unter den lfpc Devices eine viel zu lange Port und Node Nummer angezeigt. Diese stimmen mit den obigen auch gar nicht überein?!

Code: Alles auswählen

vmhba3
Modell Emulex LightPulse LPe32000 PCIe Fibre Channel Adapter
Treiber lpfc
Port World Wide Name 1152921575932676291
Node World Wide Name 2305843080539523267


Ich denke, da muss am ESXi Server selbst noch irgendwas gemacht werden, damit sich mit der Eternus verbinden?! Vielleicht hat jemand noch nen Tipp?!

[irix]

Zeigt ja zumind. schonmal das die HBAs erkannt wurden ... obs der richtige Treiber kannst nur nur bzw die HCL sagen. Aber schau ja nicht so schlecht aus.

Nun wollen wir mal gucken ob der ESX evtl. schon was sieht
Im ersten Shell Fenster mal ein

Code: Alles auswählen

esxcfg-rescan -A

Im zweiten Shell Fenter ein

Code: Alles auswählen

tail -f /var/log/vmkernel.log

und mal ein

Code: Alles auswählen

esxcli storage core device list

Gruss
Joerg

[AFri]

Code: Alles auswählen

[root@LBLMEEVMS03:~] tail -f /var/log/vmkernel.log
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:channel=0, target=3, lun=0, action=0
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:No media
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:channel=0, target=4, lun=0, action=0
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:No media
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:channel=0, target=5, lun=0, action=0
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:No media
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:channel=0, target=6, lun=0, action=0
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:No media
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:channel=0, target=7, lun=0, action=0
2019-03-15T12:47:40.625Z cpu16:68785)vmw_ahci[00000017]: scsiDiscover:No media


Code: Alles auswählen

[root@LBLMEEVMS03:~] esxcli storage core device list
t10.ATA_____Micron_5100_MTFDDAV240TCB_______________________184720530E42
   Display Name: Local ATA Disk (t10.ATA_____Micron_5100_MTFDDAV240TCB_______________________184720530E42)
   Has Settable Display Name: true
   Size: 228936
   Device Type: Direct-Access
   Multipath Plugin: NMP
   Devfs Path: /vmfs/devices/disks/t10.ATA_____Micron_5100_MTFDDAV240TCB_______________________184720530E42
   Vendor: ATA
   Model: Micron_5100_MTFD
   Revision: U051
   SCSI Level: 5
   Is Pseudo: false
   Status: on
   Is RDM Capable: false
   Is Local: true
   Is Removable: false
   Is SSD: true
   Is VVOL PE: false
   Is Offline: false
   Is Perennially Reserved: false
   Queue Full Sample Size: 0
   Queue Full Threshold: 0
   Thin Provisioning Status: yes
   Attached Filters:
   VAAI Status: unknown
   Other UIDs: vml.010000000020202020202020203138343732303533304534324d6963726f6e
   Is Shared Clusterwide: false
   Is Local SAS Device: false
   Is SAS: false
   Is USB: false
   Is Boot USB Device: false
   Is Boot Device: true
   Device Max Queue Depth: 31
   No of outstanding IOs with competing worlds: 31
   Drive Type: unknown
   RAID Level: unknown
   Number of Physical Drives: unknown
   Protection Enabled: false
   PI Activated: false
   PI Type: 0
   PI Protection Mask: NO PROTECTION
   Supported Guard Types: NO GUARD SUPPORT
   DIX Enabled: false
   DIX Guard Type: NO GUARD SUPPORT
   Emulated DIX/DIF Enabled: false


[irix]

Ich habe diesbezüglich nur im Bios des Servers unter den FC Einstellungen eine solche Option gefunden. Dort wird aber nach ein paar Sekunden immer angezeigt, dass keine Devices gefunden wurden.

Wenn auf den anderen Hosts im HBA BIOS bzw. beim Server boot die LUN sichtbar ist und bei deinem neuen Host fehlt das, dann hast du irgendwas noch nicht richtig eingestellt. Der ESXi ist doch hier noch garnicht beteiligt.

Oder kann man auch auf dem ESXi direkt einen Rescan machen?

Ja kann man esxcfg-rescan aber wie sich ja gerade zeigte aendert sich da nichts bzw. du hast ein anderes Problem.

Gruss
Joerg

[AFri]

Sowas dachte ich mir auch schon, da selbst im BIOS des Servers / der Karten "Link down" angezeigt wird.
Auf das richtige BIOS der anderen 2 Server kann ich im Moment nicht, da dort produktive VMs laufen. Ich hänge hier mal 3 Bilder aus dem BIOS des 3. Servers an, vielleicht erkennt jemand was?!...

[AFri]

Das Problem konnte gelöst werden.
Man musste auf der Eternus für die beiden Ports des neuen Servers auf den Modus "Fabric" anstatt der Standardeinstellung gehen. Die alten Server haben 8GB Glasfaserports die mit den Default Einstellungen der Eternus funktionierten. Der neue Server hat 16GB Ports, dort wurde das sog. Loop im Protokoll deaktiviert (lt. dem Techniker). Das machte das Umstellen auf "Fabric" Modus nötigt.

Jedenfalls geht jetzt alles und der Server wurde erfolgreich integriert.

Danke für die gute Unterstützung hier!

[irix]

Danke das du Rueckmeldung gegeben hast.

Gruss
Joerg