Disk werden nur sporadisch angezeigt

[photographix]

Hallo und guten Abend @ all,

ich habe ein kurioses Problem und komme leider seit drei Tagen nicht weiter :_(

Privates All in One LAB
Tech Specs:
- Supermicro A1SAi-2750F
- 32GB ECC RAM
- LSI SAS 9210-8i Controller (IT Mode)
- 8 HDDs
- ESXi 6.7 Patchlevel 10764712 (latest)

Mein Lab ist Virtualisierung und gleichzeitig Storage. Auf dem ESXi läuft ein NappIT in einer VM und über den LSI mappe ich die pRDM's. Das funktionierte mit 4 HGST Platten ganz gut, später kamen noch 4 weitere WD Platten hinzu (2,5). Diese konnte ich alle als pRDM mappen und verwenden. Eine Lösung die seit 2015 so bei mir läuft. Nun habe ich die WD's in Platten von Seagate getauscht und wollte diese wieder im ESXi als pRDM sehen und einbinden. Leider sehe ich manchmal gar keine, eine oder maximal zwei davon. Jeweils immer irgendwie andere aber NIE alle. Ein Rescan das HBA's führ immer zu einer Veränderung des Ergebnisses. Strange ....

Mein erster Ansatz, der HAB erkennt die neuen Disks nicht. Im LSI Bios geschaut alle Disks da. Nur die neuen angesteckt auch alle da. Auch nach 15min noch. Die Disks verifiziert, Seriennummer ausgelesen pi pa po.

Zweiter Ansatz, alles abgezogen was Strom verbraucht, nur die 4 neuen Disk im System (+boot USB) wieder selbes Ergebnis

Dritter Ansatz, Slots tauschen, aber auch egal wo ich die Platten reinstecke das selbe Ergebnis, es ist immer nur eine Teilmenge von 4 Platten zu sehen. Manchmal zwei, rescan, dann eine, rescan, dann gar keine, rescan dann wieder eine andere oder die zwei ersten ...

Vierter Ansatz, ESXi neu drüber installieren, leider auch ohne Erfolg. Narf :/

Alle vier Ansätze machen mit den HGST Platten und den WD Platten keinen Unterschied, lediglich mit den neuen Seagate geht es nicht auf ESX Ebene - der LSI zeigt alle Kombinationen korrekt mit Slotwechsel an.

Was könnte das sein? Wo könnte man noch drehen? Die Platten sind Seagate White Label OEM Platten, 2,5 Zoll, 5TB, 5400 u/min. Die Platten gehen jeweils einzeln alle unter Windows und lassen sich per SATA USB Adapter auch auslesen und formatieren.

Meine Ideen gehen nun in Richtung ESX "Disk Optionen" wie "Wait Time", "Spinup Time", Blah Blah habe aber keine Ahnung wo man das einstellen kann noch ob es überhaupt etwas bewirken würde. Wer mit rätseln will oder eine Lösung parat hat - her damit

LG und einen schönen Abend noch

[Dayworker]

Schau nach, ob alle Platten so vom Controller bzw FW-Stand unterstützt werden. White-Label-Platten sind OEM-Platten und eigentlich für Assemblierer bzw Systemintegratoren gedacht, bei denen diese dann als Integrator/Assemblierer-Eigenmarke nicht mehr den offiziellen Herstellernamen tragen dürfen. Support bzw Garantie gibt es wenn dann entweder nur vom Integrator oder vom Zeitraum stark eingeschränkt vom Plattenhersteller. WD gewährt bei White-Label-Platten wohl nur 1 Jahr Garantie.

[photographix]

Hallo und guten Abend @ all,

was ich schon einmal sagen kann das es scheinbar aus dem ESXi kommt oder damit in Zusammenhang steht.
Ich habe jetzt BareMetal ein OmniOs auf meinem Server aufgesetzt und dort die 4 Platten eingebunden. Ein Raidz gebaut, dann Daten drauf geschoben, gelöscht, kopiert etc. Nebenbei ein Scrub laufen lassen und bei all den Aktionen habe ich keine Platte verloren. Es wurden mir auch beim Einrichten immer alle 4 angezeigt egal wie oft ich ein HBA rescan gemacht habe.

Unter dem ESXi leider wieder das selbe Bild. Nur eine Platte zu sehen. Kann es sein das bei "irgendeinem" Update den mpt2sas Treiber zerlegt hat. Das würde aber nicht erklären warum es mit den alten 8! Disk geht und nur mit den neuen 4 Probleme hat. Narf...

Raterunde ist wieder eröffnet.

@ Dayworker
die Platten melden leider keine Firmware und auch keinen Hersteller. Sie nennen sich alle nur OOS5000G (auch im HBA). Ich kann sie wenn sie sich zeigen nur durch die Seriennummer bzw den Slot unterscheiden.

LG

[~thc]

Da du den LSI-Controller an die VM durchreichst, sind die Treiber des ESXi vollständig egal.
Du hast für den IT-Mode eine Firmware in den Controller geflasht, die mit dem ESXi-Treiber nicht kompatibel ist.

Meine simple Vermutung: Die neuen Platten sind 512e oder 4K-Modelle und der Controller kann damit nicht vollständig umgehen. Warum OmniOS auf dem Blech die Phänomene erst mal nicht zeigt, bleibt dann ungeklärt.

[Dayworker]

Es könnte auch so etwas triviales wie eine nicht zum ESXi-Treiber passende Controller-Firmware sein und sowas kann man dann auch in den üblichen ESXi-Log lesen. Wird der Controller durchgereicht, ist der ESXi natürlich mit seinen Treibern aussen vor und allein das Gast-OS ist für dessen Ansteuerung zuständig.

LSI/Broadcom/Avago oder wer auch immer jetzt der momentane Besitzer der LSI-Property ist, unterhält dort hoffentlich noch Listen, welche FW-Version für einen Treiber mindestens benötigt wird. Die bei einigen LSI-Controllern mit der FW-P20 vorhandenen Probleme wurden meines Wissens bereits mit einer aktualisierten P20-Version beseitigt und die alte Version vom Server genommen. Nach dem Einspielen einer neuen Controller-FW sollte sich also das Problem auf ESXi-Seite erledigt haben.

[photographix]

Hallo @ all

den Controller reiche ich eigentlich nicht komplett durch (wäre aber jetzt eine Idee).
Hatte nur dir Disks durchgereicht und den Controller im ESXi verwaltet.

Nächster Ansatz Firmware update / oder Neuinstallation.

@ THC ja es sind 4K Platten.

[Dayworker]

Ups, das mit pRDMs habe ich überlesen. Aber mal ehrlich, wozu bei ZFS mit pRDMs rumgeistern, wenn man den Controller durchreichen und daran dann die Platten native durch das Gast-OS ansprechen kann. Klar zum Ausprobieren kann man mit p- oder vRDMs arbeiten, aber bei pRDMs verliert man sowieso die Snapshotfähigkeit und ZFS kann einfach deutlich mehr, wenn es alleiniger Herrscher über alle Datenträger ist.

[photographix]

Hallo und guten Morgen @ Dayworker,

du hast recht. Ich hatte das "damals" so eingerichtet da ich pRDMs von den lokalen SATA Ports vom Mainborads gebaut hatte. Ich hatte das später nie geändert das es ja ging. Ich werde das durchreichen mal probieren.

[~thc]

Noch mal ein paar Anmerkungen:

- Das Broadcom Compatibility-Document führt nur zwei Seagate 5TB Disks (ST5000AS0011 und ST5000NM0024)auf, die beide 512e-Modelle sind. Im Dokument tauchen aber andere 4K-Modelle als kompatibel auf.

- Die "IT-Mode"-Firmware finde ich nur im Zusammenhang mit durchgereichten Controllern

- Der aktuelle mpt2sas-inbox-Treiber (20.x) braucht auf dem Controller die Firmware mit der gleichen Versionsnummer (20.x)

[photographix]

Hallo @ all noch einmal,

komme leider nicht weiter. Passthru lässt sich mit meinem LSI gar nicht konfigurieren. Bekomme einen Konfigurationsfehler Wohl aus dem Grunde habe ich damals pRDM's gemacht.

Die IT Firmware des LSI ist die 20.00.07.00. Aktuellere gibt es meines Wissens nicht. Der mpt-sas-driver von Avago ist 20.00.01.00-1OEM.550.0.0.1331820 dort habe ich auch keinen aktuelleren gefunden.

Mein privates All in one NAS ist eine Whitebox. Da ist es schwierig nur zertifizierte Sachen einzusetzen.

[~thc]

Letzter Strohhalm:

Da (nach meinem Wissen) der IT-Mode ohne Durchreichen keinen Sinn macht, die normale 20.x Firmware flashen.

[photographix]

Hallo thc,

ist es denn im normalen Raid Modus möglich Disks einzeln vom ESX aus anzusprechen und NICHT als Raidset zu laufen zu lassen. Ich möchte ja weiterhin pRDMs haben.

Nachtrag noch die LSI Ansicht. Die Problematischen Disk sind die OOS5000G ...

[Dayworker]

Nicht der LSI-Controller ist das Problem...
Question:
Do you know if the new A1SAi-2750F or A1SAi-2550F will support VT-d?
Answer:
They do not support VT-d, VT-x is supported.

Wenn sie unter einem anderen OS laufen, mag der ESXi eventuell überhaupt keine White-Label-Platten oder ihm fehlt eine Kennung, um diese sauber auseinander halten zu können. Was passiert denn unter Windows, wenn du die Platten dort mal per USB mit Crystaldisk ausliest und nach Seriennummern schaust. Worin unterschieden sich die Platten dann?

[photographix]

Ah also war das der Grund warum ich "damals" pRDMs gebaut habe.

Die white Label Disk zeigt sich so wenn Sie zu sehen sind (esxcli Version)


die Whitelabel


naa.5000c500a8c1726b
Display Name: Local ATA Disk (naa.5000c500a8c1726b)
Has Settable Display Name: true
Size: 4769307
Device Type: Direct-Access
Multipath Plugin: NMP
Devfs Path: /vmfs/devices/disks/naa.5000c500a8c1726b
Vendor: ATA
Model: OOS5000G
Revision: OOS1
SCSI Level: 6
Is Pseudo: false
Status: on
Is RDM Capable: true
Is Local: true
Is Removable: false
Is SSD: false
Is VVOL PE: false
Is Offline: false
Is Perennially Reserved: false
Queue Full Sample Size: 0
Queue Full Threshold: 0
Thin Provisioning Status: unknown
Attached Filters:
VAAI Status: unsupported
Other UIDs: vml.02000000005000c500a8c1726b4f4f53353030
Is Shared Clusterwide: false
Is SAS: true
Is USB: false
Is Boot Device: false
Device Max Queue Depth: 32
No of outstanding IOs with competing worlds: 32
Drive Type: physical
RAID Level: NA
Number of Physical Drives: 1
Protection Enabled: false
PI Activated: false
PI Type: 0
PI Protection Mask: NO PROTECTION
Supported Guard Types: NO GUARD SUPPORT
DIX Enabled: false
DIX Guard Type: NO GUARD SUPPORT
Emulated DIX/DIF Enabled: false


eine Hitachi


naa.5000cca22ec02235
Display Name: Local ATA Disk (naa.5000cca22ec02235)
Has Settable Display Name: true
Size: 3815447
Device Type: Direct-Access
Multipath Plugin: NMP
Devfs Path: /vmfs/devices/disks/naa.5000cca22ec02235
Vendor: ATA
Model: Hitachi HDS5C404
Revision: A250
SCSI Level: 6
Is Pseudo: false
Status: on
Is RDM Capable: true
Is Local: true
Is Removable: false
Is SSD: false
Is VVOL PE: false
Is Offline: false
Is Perennially Reserved: false
Queue Full Sample Size: 0
Queue Full Threshold: 0
Thin Provisioning Status: unknown
Attached Filters:
VAAI Status: unsupported
Other UIDs: vml.02000000005000cca22ec02235486974616368
Is Shared Clusterwide: false
Is SAS: true
Is USB: false
Is Boot Device: false
Device Max Queue Depth: 32
No of outstanding IOs with competing worlds: 32
Drive Type: physical
RAID Level: NA
Number of Physical Drives: 1
Protection Enabled: false
PI Activated: false
PI Type: 0
PI Protection Mask: NO PROTECTION
Supported Guard Types: NO GUARD SUPPORT
DIX Enabled: false
DIX Guard Type: NO GUARD SUPPORT
Emulated DIX/DIF Enabled: false

[Dayworker]

Deine Ausgabe hilft zumindest mir absolut nicht weiter, weil sie nur den VMware-Teil enthält. Schaue ich mir https://esxi/ui/#/host/storage/devices an, bekomme ich da die für mich wesentlich aussagekräftigere Ausgabe:
Local ATA Disk (t10.ATA_____MAXTOR_STM3160211AS_________________________________6QV2G0HD)

Bei 2 Platten sollte sich deren letzte Angabe (6QV2G0HD) unterscheiden, weil es in diesem Fall die Seriennummer ist. Tauchen dort 2 Laufwerke mit derselben Seriennummer bzw - bei allen neueren Laufwerken - WWN auf, könnte das für Probleme sorgen.

[photographix]

Hallo Dayworker,

Danke für die weitere Unterstützung. Der Gui Teil sieht ähnlich aus. Bei den Disks über den LSI kommt keine Seriennummer mit. Das war aber schon "immer" so. Eine 5TB Disk wird angezeigt - die naa.ID unterschiedet sich je nach 5TB Platte.

Ein Downgrade des ESX auf 6.5 oder 6.1 um zu sehen ob es ein 6.7 Problem ist würde mir auch noch vorschweben.

[photographix]

@ Dayworker,

der Tip mit der Seriennummer in Crystal Disk war Gold wert.
leider haben ALLE die SELBE Seriennummer 0000000 narf....

Suche nun ein Program wo man das ändern kann. Bin für Vorschläge offen.

[Dayworker]

Sowas hatte ich fast schon vermutet, als du mit "White Label OEM" ums Eck kamst. Die sind halt nicht für den Consumer-Market bestimmt und funktionieren bestimmt auch als normale OS-Platte, aber für mehr würde ich die nicht einsetzen.

Das Stückchen Leiterplatte auf allen SATA-HDDs hat nur noch die Funktion, SATA-Connector und -Stromanschluß physikalisch mit dem Inneren zu verbinden. Die Seriennummer zu ändern, würde für uns Nicht-Systemintegratoren also höchstens mit einem Prommer gehen und dazu müßte man zumindest die Platte öffnen...
Versuch die noch zu Retournieren. Weil Verkaufen würde ich die nicht mehr, damit ist dir unnötiger Ärger bereits vorprogrammiert. Falls das nix wird, freut sich vielleicht eine Externe Platte über den zusätzlichen Platz.

[photographix]

@ all

Retour war kein Problem. Danke fürs helfen.
LG und schöne Woche noch