Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Alles zum Thema vSphere 7, ESXi 7 und vCenter-Server bzw VCSA7.

Moderatoren: irix, Dayworker

Member
Beiträge: 17
Registriert: 13.06.2018, 00:27

Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon sappel18 » 08.04.2021, 23:11

Moin zusammen,
in meiner neusten Config klappt etwas mit den Platten bzw. dem Raid-Controller nicht:
Ich habe einen Broadcom 9460-8i Raid-Controller auf einem Supermicro X11SCL Board. Als Platten kommen 2x 4TB Intel SSD P4510 U.2 in einem IcyDock MB699VP zum Einsatz. Leider werden mir die Platten aber nicht erkannt.
Ich habe ein offizielles U.2 Enabler Kabel von Broadcom im Einsatz (Hersteller-Nr. 05-50061-00). Aktuell werden nur 2 Platten benötigt, daher ist es auch "nur" der 8i Controller.

Firmware ist aktuell, Treiber sind ebenfalls aktuell. Er spuckt mir bei storcli /c0 show immer physical disks 0 aus.

Jetzt muss ich eingestehen, dass ich zunächst die falschen Kabel hatte - keine U.2 Enabler Kabel. Und der erste Zusammenbau wurde von einem Kollegen erledigt, weshalb es mir erst später aufgefallen ist. Nun steht bei Broadcom ja durchaus, dass es zu Defekten kommen kann, wenn die falschen Kabel im Einsatz sind.
Ich habe aber im Netz ein paar Posts gefunden, wo ebenfalls falsche Kabel im Einsatz waren, die Problemlösung aber immer die richtigen Kabel waren - sprich dort hat es nach erstmaligem falschen Kabel dann offenbar auch funktioniert.

Hat jemand mit so einer Konfiguration Erfahrung oder kann mir noch einen Tipp geben?
Ich habe mal auf Verdacht direct-attach Kabel bestellt (kommen vielleicht morgen), einfach um die Funkion zu testen.

Danke und Grüße
sappel

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon ~thc » 09.04.2021, 07:45

U.2-NVMe-SSDs? U.2-Enabler-Kabel? IcyDock?

Sind die beiden SSDs irgendwo übrig geblieben? Wieso macht man so etwas?

Member
Beiträge: 17
Registriert: 13.06.2018, 00:27

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon sappel18 » 09.04.2021, 09:11

Nö, nichts übrig geblieben.
NVME aus Performance-Gründen....ich wollte die Konfiguration so einfach mal testen. Das IcyDock ist ein schickes 2,5" Backplane, wenn es nur um wenige Platten geht. Und 2,5" in Verbindung mit NVME ergibt eben automatisch U.2...

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon Dayworker » 09.04.2021, 10:35

Ich kenne nicht alle HW, aber IcyDock ist mir nur als Bastelzubehör bekannt. Ich würde daher bei IcyDock und BroadCom anfragen, ob deine Konstruktion so überhaupt supportet wird.

Member
Beiträge: 17
Registriert: 13.06.2018, 00:27

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon sappel18 » 09.04.2021, 11:41

Moin, ja, es ist grundsätzlich schon als kompatibel gelistet. Das IcyDock Backplane kostet um die 180€ - klar, der Preis allein ist kein Argument, aber als Indiz, dass es eigentlich die Spielzeug-Klasse verlassen haben sollte.
NVMe SSDs für Server finde ich eben interessant und U.2 ist da eine klasse Schnittstelle, um Hotplug via bei SAS Platten gewohnt ebenfalls zu erreichen.
Und ja, es gibt natürlich Backplanes von anderen Herstellern, aber die Auswahl für eine Supermicro-Konfiguration ist da begrenzt...und wenn ich unter 8 Laufwerken bleiben will, habe ich nur das IcyDock gefunden.

IcyDock verweist auf die spezifischen Kabel, die laut Broadcom notwendig sind. Diese habe ich ja besorgt.
Aber das IcyDock scheint nicht der Fehler zu sein: Ich habe jetzt auch die Direct Attach Kabel vorhin bekommen, d.h. die beiden U.2 SSDs direkt an den 9460 Controller gehängt und es werden ebenfalls beide Platten nicht erkannt. Also entweder sind die Platten defekt oder der Controller hat mit NVMe doch ein Problem. Eine SATA SSD scheint er nämlich zu erkennen...

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon ~thc » 09.04.2021, 12:09

Erst jetzt habe ich begriffen, dass das NVMe-SSDs sind...

- An den Controller kann man nur zwei x4 NVMe-SSDs anschließen (jeder Controller-Port hat vier Lanes / x2 NVMe: vier SSDs)
- Laut Doku gibt es für die Enclosures drei Anschlussformen: OCuLink, SlimLine, oder Mini SAS HD (IcyDock: Letzteres x 4)
- Laut Doku funktionieren ausschließlich U.2-Enabler Kabel

Wenn ich jetzt alles zusammen betrachte, würde ich sagen, dass je eine SSD mit einem U.2-Enabler-Kabel an je einen Port des Controllers angeschlossen sein muss. Und da das IcyDock vier Anschlüsse hat, stimmt da was nicht.

Member
Beiträge: 17
Registriert: 13.06.2018, 00:27

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon sappel18 » 09.04.2021, 12:28

Das IcyDock kümmert doch nicht, ob 2 oder 4 Slots von ihm in Betrieb sind, oder?
Ja, will ich alle 4 Slots des IcyDock belegen, muss ich auf den LSI/Broadcom 9460-16i zurückgreifen. Aber derzeit reichen mit 2 Platten locker und ein 2er-Backplane habe ich nicht gefunden.

Aber wie gesagt: IcyDock hin oder her, auch mit den U.2 Enabler Kabeln direkt zu den Platten ohne IcyDock werden die Platten nicht erkannt. Ergo müssten die Platten oder der Controller ein Problem haben - oder wie seht ihr das?

Mit den bei Broadcom gelisteten Firmware Versionen der Intel SSDs komme ich nicht ganz klar. Die dortige Bezeichnung hat wenig mit der Angabe auf meinen SSDs zu tun...

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon ~thc » 09.04.2021, 12:58

sappel18 hat geschrieben:Das IcyDock kümmert doch nicht, ob 2 oder 4 Slots von ihm in Betrieb sind, oder?
Ja, will ich alle 4 Slots des IcyDock belegen, muss ich auf den LSI/Broadcom 9460-16i zurückgreifen. Aber derzeit reichen mit 2 Platten locker und ein 2er-Backplane habe ich nicht gefunden.

Das Problem sind doch die Connectoren auf beiden Seiten des Kabels: Wenn am Controller 4 Lanes anliegen, kann man nicht per Peitschenkabel zwei Enclosure Slots mit x4 anschließen. Und wenn die IcyBox nur 2 Lanes zu den SSDs durchschleift, geht es gar nicht.

sappel18 hat geschrieben:Aber wie gesagt: IcyDock hin oder her, auch mit den U.2 Enabler Kabeln direkt zu den Platten ohne IcyDock werden die Platten nicht erkannt. Ergo müssten die Platten oder der Controller ein Problem haben - oder wie seht ihr das?

Wenn das Kabel alle vier PCI-Lanes zur SSD durchschleift, ja dann stimmt etwas nicht.

sappel18 hat geschrieben:Mit den bei Broadcom gelisteten Firmware Versionen der Intel SSDs komme ich nicht ganz klar. Die dortige Bezeichnung hat wenig mit der Angabe auf meinen SSDs zu tun...

Kannst du die x4 SSDs auf einem Board einzeln testen und die Firmware dort abfragen?

Member
Beiträge: 17
Registriert: 13.06.2018, 00:27

Re: Probleme mit LSI/Broadcom 9460-8i und NVME U.2 Disks

Beitragvon sappel18 » 12.04.2021, 09:22

Also es läuft...
Der Broadcom Support war so nett mir mitzuteilen, dass ich den Modus des Raid Controllers auf "mixed mode" stellen musste.
storcli /c0 set profile profileid=13

Ich habe noch nicht geschaut, ob ich zu blöd war, es in der Broadcom Doku zu finden oder es dort tatsächlich nicht steht - gesehen hatte ich es wissentlich nicht. Aber nachdem ich es umgestellt hatte und 1x reboot, läuft nun alles wie erwünscht mit NVMe SSD im U.2 Format, mit der kleinen Einschränkung, dass ich eben nur 2 der 4 Slots des IcyDock nutzen kann - aber das war ja schon vorher klar und stört nicht weiter.


Zurück zu „vSphere 7“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 5 Gäste