[solved]ATS on device not supported

[JustMe]

Nochmal 'ne Frage so zwischendurch:

Haengen an dem FC-Controller noch andere (supportete) Storage Devices, bei denen alles sauber geht?
Falls nicht: Was fuer ein Controller ist das? Typ, Firmware, Treiber? Wie ist ggfs. die Fabric aufgebaut?

Was sagt das vmkernel.log zum Zeitpunkt der Fehlermeldungen bzw. bei Ausfuehren des vmkfstools-Befehls?

Eine Suche nach "...call not implemented..." fuehrt einen recht schnell auf die Seiten von W.Lam, F.Grehl et.al., wo USB Devices mit VMFS beglueckt werden sollen...
Da finden sich dann entsprechende "deutlichere" Ursachenhinweise eben im vmkernel.log.

[MarvinMcFly]

HBA ist ein Emluex LPe11000 4Gb PCIe FC Adapter, wegen den anderen sachen muss ich grade erst einmal Forschen wo ich sie herausfinde.

Ich bin zu dem Ergebniss gekommen mal https://kb.vmware.com/selfservice/micro ... Id=1008886 auzuprobieren, da ich wie von dir beschrieben den gleichen Fehler wie die Person auf der Internetseite im vmkernel.log habe.
Gehe ich in die richtige Richtung oder bin ich auf der falschen Fährte?

Device does not contain a logical volume

[kastlr]

Hmm,

was erscheint denn im vmkernel.log, wenn du das Kommando erneut absetzt?
Ich denke so langsam, dass VMware 5.5 oder höher nicht mehr mit CX3 zusammen arbeiten wird.

Gruß,
Ralf

[MarvinMcFly]

Ich glaube das sind die Meldungen die zusammen gehören, ich bin mir aber nicht zu 100% sicher.

2017-01-24T12:33:26.412Z cpu4:109736)ScsiScan: 836: Path vmhba4:C0:T1:L0 supports REPORT LUNS 0x11

2017-01-24T12:36:08.527Z cpu4:33251)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x16 (0x439d803c87c0, 0) to dev "naa.6006016029522100d832e6def1e1e611" on path "vmhba4:C0:T1:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE

2017-01-24T12:36:08.527Z cpu4:33251)ScsiDeviceIO: 2651: Cmd(0x439d803c87c0) 0x16, CmdSN 0x58a1 from world 0 to dev "naa.6006016029522100d832e6def1e1e611" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.

2017-01-24T12:36:08.530Z cpu6:110482)LVM: 9294: LVMProbeDevice failed on (3645008736, naa.6006016029522100d832e6def1e1e611:1): Device does not contain a logical volume

Ich hoffe nicht, wenn man es zum laufen bekommen würde wäre schön

[Martin]

Eventuell steht der Fehler ein paar Zeilen höher im Output des Befehls:
"VMFS5 file system creation is deprecated on a BIOS/MBR partition"
Hast Du eine Möglichkeit, das ganze mit GPT zu probieren?

[MarvinMcFly]

Nichts der artig zu finden :/

Wie meinst du das mit GPT?

[kastlr]

Ah, das könnte es sein.
ESX6.0 erfordert LUNs mit GPT und nicht mit MBR.

Was zeigt denn partedUtil getptbl /vmfs/devices/disks/naa.6006016029522100d832e6def1e1e611 an?
Die erste Zeile muß GPT anzeigen.

Gruß,
Ralf

[JustMe]

Wrong, wuerde der Rotschopf jenseits des Atlantiks bruellen.

Das geht auch mit MBR.

"Deprecated" ja, aber nicht "unsupported".

Code: Alles auswählen

[root@localhost:~] vmkfstools -C vmfs5 -S datastore3 /dev/disks/mpx.vmhba1:C0:T0:L0:1
create fs deviceName:'/dev/disks/mpx.vmhba1:C0:T0:L0:1', fsShortName:'vmfs5', fsName:'datastore3'
deviceFullPath:/dev/disks/mpx.vmhba1:C0:T0:L0:1 deviceFile:mpx.vmhba1:C0:T0:L0:1
VMFS5 file system creation is deprecated on a BIOS/MBR partition on device 'mpx.vmhba1:C0:T0:L0:1'
ATS on device /dev/disks/mpx.vmhba1:C0:T0:L0:1: not supported
.
Checking if remote hosts are using this device as a valid file system. This may take a few seconds...
Creating vmfs5 file system on "mpx.vmhba1:C0:T0:L0:1" with blockSize 1048576 and volume label "datastore3".
Successfully created new volume: 58875f53-dbc3bd61-4863-000c29f8c34e
[root@localhost:~] ls -lh /vmfs/volumes/datastore3
lrwxr-xr-x    1 root     root          35 Jan 24 14:06 /vmfs/volumes/datastore3 -> 58875f53-dbc3bd61-4863-000c29f8c34e
[root@localhost:~] ls -lh /vmfs/volumes/datastore3/
total 0
[root@localhost:~] touch /vmfs/volumes/datastore3/testfiel
[root@localhost:~] ls -lh /vmfs/volumes/datastore3/
total 0
-rw-r--r--    1 root     root           0 Jan 24 14:06 testfiel
[root@localhost:~] vmkfstools -P /vmfs/volumes/datastore3
VMFS-5.61 file system spanning 1 partitions.
File system label (if any): datastore3
Mode: public
Capacity 8321499136 (7936 file blocks * 1048576), 7409238016 (7066 blocks) avail, max supported file size 69201586814976
UUID: 58875f53-dbc3bd61-4863-000c29f8c34e
Partitions spanned (on "lvm"):
        mpx.vmhba1:C0:T0:L0:1
Is Native Snapshot Capable: YES
[root@localhost:~] partedUtil getptbl /dev/disks/mpx.vmhba1:C0:T0:L0
msdos
1044 255 63 16777216
1 2048 16777000 251 0
[root@localhost:~]


Ich wuerde so langsam, neben der CX selbstverfreilich, auch den LPe11000, bzw. seine Firmware, nicht mehr fuer unwahrscheinlich halten als Ausloeser des Problems. Auf der HCL-Seite sind nur ein paar davon noch fuer ESX >3.5 gelistet... Leider ohne FW-Angaben.

Achso, fehlte noch in der Ausgabe:

Code: Alles auswählen

[root@localhost:~] vmware -vl
VMware ESXi 6.0.0 build-4192238
VMware ESXi 6.0.0 Update 2


[kastlr]

Allerdings vertraue ich dem folgendem Author doch deutlich mehr.
How to Format and Create VMFS5 Volume using the CLI in ESXi 5

Den HBA würde ich erst einmal ausschließen, denn das Anlegen, Auslesen und Löschen der Partition klappt ja problemlos.
Erst wenn eine spezielle Funktion von vmkfstools verwendet wird tritt ein Fehler auf.

Gruß,
Ralf

[MarvinMcFly]

partedUtil setptbl /vmfs/devices/disks/naa.6006016029522100d832e6def1e1e611 "gpt" "1 2048 1121114623 AA31E02A400F11DB9590000C2911D1B8 0"

Bekomme ich den Fehler

Error: unable to satisfy all constraints on the partition

[JustMe]

Den hatte ich ja weiter oben auch schon genannt

Aber m.E. schreibt er nirgends, dass MBR nicht mehr ginge...
Ich finde da nur "no longer used", und uebersetze das fuer mich mit "default ist jetzt GPT". Was ja auch augenscheinlich den Tatsachen recht nahe kommt. Und 1x (bei der Groessenbestimmung) setzt er selbst auch einen MBR...

Auf die Firmware (speziell zu Emulex/Avago/usw.usf.etc.pp.) komme ich wg. frueherer Erfahrungen. Da sind manchmal nur bestimmte Kommandos "anders" implementiert, und erst dann treten "sporadische" Fehlermeldungen in der Zusammenarbeit (oder auch nicht Zusammenarbeit) von Controller-Firmware und verwendetem Treiber auf...

@Marvin:
Probier's evtl. auch nochmal mit etwas weniger Sektoren als der Maximalanzahl. Denn GPT hat eine Tabellenkopie am Ende des Volumes.
Und wieder: Was steht jetzt genau im vmkernel.log?

[MarvinMcFly]

Gibt es eine möglichkeit wie ich den Ordentlich Exportiere?

[JustMe]

Du meint den "vmkernel.log"?
Einfach aus /var/log herauskopieren... z.B. mit WinSCP usw.

[MarvinMcFly]

Connection Refused.
https://kb.vmware.com/selfservice/micro ... Id=1039095

Sorry für die immer blöderen Fragen bin heute ein wenig übermüdet.

EDIT:

Zurückrudern, falsche IP benutzt^^

Mit der richtigen bekomme ich Server unexpectedly closed network connection

[kastlr]

Du mußt SSH aktivieren, Standardmäßig ist das nämlich aus.

Using ESXi Shell in ESXi 5.x and 6.x (2004746)

Gruß,
Ralf

[MarvinMcFly]

War es die ganze zeit, bin über putty auf dem System gewesen, habe mich jetzt aber irgendiwe ausgesperrt...
Ich bekomme jetzt nur noch über putty Server unexpectedly closed network connection

EDIT: Nochmal zurückrudern, klappt alles wieder


Wenn ich ihn über WinSCP hole ist er komplett unübersichtlich. Was kann ich dagegen tun?

[kastlr]

Das ist ne Textdatei, was ist daran unübersichtlich?

[MarvinMcFly]

Welchen Teil möchtest du nochmal genau sehen?

[kastlr]

Sofern du bestätigen kannst, das du GPT verwendest reicht uns das Zeitfenster zwischen dem Absetzen des Kommandos plus 15-30 Sekunden.

Dann noch eine Frage, wie ist denn der/die HBA's in der CX3 registriert worden?
Denn der vmkernel.log Auszug, denn du bereits gepostet hast sagt aus, das der Server ein Problem beim setzen einer SCSI Reservation hatte.
Und je nachdem wie die HBA's registriert worden sind kann das Problem auch daher kommen.

Gruß,
Ralf

[MarvinMcFly]

Nach welchem Kommando?

vmkfstools -C vmfs5 -S datastore?

Storage Group angelegt und Host zugewiesen. CX3 ist mit SPA und SPB über FC an den FC Switch angeschlossen und beide Ports des DellPowerEdge HBA auch über FC angeschlossen. Zoning ist gemacht und stimmt auch so weit. Systeme können sich eigentlich einwandfrei erkennen. War das die aussage die du benötigt hast oder habe ich die Frage missverstanden?

Also:
CX3
----SPA FC Port 0 ---> Switch
----SPB FC Port 0 ---> Switch

Dell Host
HBA 1 Port 0 ----------> Switch
HBA 1 Port 1 ----------> Switch

[kastlr]

Ich meinte, welche FailOver Policy dem/den HBA's in der CX zugeordnet worden ist.

Und den vmkernel.log nach Absetzen des folgenden Kommandos.
vmkfstools -C vmfs5 -S NewDatastore /vmfs/devices/disks/naa.6006016029522100d832e6def1e1e611:1

Oder hast du die GPT Partition jetzt noch nicht anlegen können?

Gruß,
Ralf

[JustMe]

Zusatz zum vmkernel.log:
Das ist selbstverstaendlich eine Textdatei, aber eine mit Linux-(usw.)-Zeilenenden.

Da nimmst Du besser nicht Notepad oder gar WinWord fuer, sondern Notepad2, Notepad++, ..., oder oeffnest die Datei irgendwo unter Linux (oder im Windows->Linux-Subsystem, wenn Du mit Win10 ganz aktuell sein solltest).

Das beste ist aber: Zippen, und hochladen. Dann koennen die, die reingucken wollen, das auf die ihnen genehme Art tun.

[MarvinMcFly]

FailOver Policy, wenn ich dich richtig verstehe, ist bei einer CX voll automatisch. SPA und SPB übernehmen die arbeit des jeweils anderen, falls einer ausfallen sollte. Somit auch den Trafic über FC. Das sollte aber eigentlich kein Problem sein, ich weiß das eine CX mit ESXi 5.0 läuft. Zu der .log
Ich musste die .log umbenennen in .txt damit ich sie hochladen konnte.
Auschnitt:

2017-01-25T07:14:13.161Z cpu3:32863)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x1a (0x439d8037b200, 0) to dev "naa.6001ec90f85f79002018781b0950355a" on path "vmhba1:C2:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0. Act:NONE

2017-01-25T07:14:13.162Z cpu3:32863)ScsiDeviceIO: 2651: Cmd(0x439d8037b200) 0x1a, CmdSN 0x11a0 from world 0 to dev "naa.6001ec90f85f79002018781b0950355a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.

2017-01-25T07:14:13.170Z cpu6:32781)ScsiDeviceIO: 2651: Cmd(0x439d8041c700) 0x1a, CmdSN 0x11a5 from world 0 to dev "naa.6001ec90f85f79002018781b0950355a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.

2017-01-25T07:14:13.184Z cpu0:79658)ScsiDeviceIO: 2651: Cmd(0x439d8040dc40) 0x1a, CmdSN 0x11aa from world 0 to dev "naa.6001ec90f85f79002018781b0950355a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.

2017-01-25T07:14:34.405Z cpu2:79247)ScsiScan: 836: Path vmhba4:C0:T0:L0 supports REPORT LUNS 0x11

2017-01-25T07:14:34.406Z cpu7:32798)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x1a (0x439d803b3ac0, 0) to dev "mpx.vmhba0:C0:T0:L0" on path "vmhba0:C0:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE

2017-01-25T07:14:34.411Z cpu2:79247)ScsiScan: 836: Path vmhba4:C0:T1:L0 supports REPORT LUNS 0x11

2017-01-25T07:14:34.411Z cpu0:33250)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x12 (0x439d803b3ac0, 0) to dev "naa.6006016029522100d832e6def1e1e611" on path "vmhba4:C0:T1:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0. Act:NONE

2017-01-25T07:15:04.399Z cpu0:33164)NMP: nmp_ResetDeviceLogThrottling:3349: last error status from device naa.6001ec90f85f79002018781b0950355a repeated 3 times

2017-01-25T07:15:49.777Z cpu4:33154)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x1a (0x439d80401300, 0) to dev "naa.6001ec90f85f79002018781b0950355a" on path "vmhba1:C2:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0. Act:NONE

2017-01-25T07:15:49.778Z cpu4:32779)ScsiDeviceIO: 2651: Cmd(0x439d80401300) 0x1a, CmdSN 0x11b5 from world 0 to dev "naa.6001ec90f85f79002018781b0950355a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.

2017-01-25T07:16:34.399Z cpu2:33164)NMP: nmp_ResetDeviceLogThrottling:3349: last error status from device naa.6001ec90f85f79002018781b0950355a repeated 1 times

2017-01-25T07:16:54.117Z cpu0:33250)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x16 (0x439d803f09c0, 0) to dev "naa.6006016029522100d832e6def1e1e611" on path "vmhba4:C0:T1:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE

2017-01-25T07:16:54.117Z cpu0:33250)ScsiDeviceIO: 2651: Cmd(0x439d803f09c0) 0x16, CmdSN 0x11d4 from world 0 to dev "naa.6006016029522100d832e6def1e1e611" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.

2017-01-25T07:16:54.120Z cpu1:79870)LVM: 9294: LVMProbeDevice failed on (3645008736, naa.6006016029522100d832e6def1e1e611:1): Device does not contain a logical volume

Befehl abgesetzt und das könnten die sachen sein die dazu gehören, da das ältere vor dem ersten eintrag ein Timestamp von 07:09:34 hat, habe ich mal ab den zeilen alles ausgeschlossen.

[JustMe]

Hmmmmm,
Fehlermeldungen im vmkernel.log finden sich ausschliesslich zu vmhba4:C0:T1:L0...
T0 (also vmtl. der andere SP) zeigt keine, oder wird nicht weiter verwendet.
Path Failovers auf ESXi-Seite sind jetzt auch wieder ein ganz eigenes Thema, und bei unsupported Storage Devices gleich doppelt.

Leider kenne ich mich jetzt mit den Storages nicht so ganz tief aus; vielleicht kann Ralf K. ja weitere Troubleshooting-Steps beschreiben.

Ich wuerde hier blauaeugig versuchen, einen der beiden SPs abzuhaengen, und es erneut probieren...

PS:
Haettest Du das Log wie angesprochen gezippt, waer's wohl auch durchgegangen

[MarvinMcFly]

Okay danke, SP abziehen geht nicht, da sonst die Maschine Panict^^ es müsste auch so Funktionieren. Ich Installier mal heute schnell ESXi 5.0 und guck ob es auch Probleme gibt. Stimmt zippen hätte ich ja machen können