U.2 SSD am 9560

[b99]

Hallo, kleine Frage, ich möchte an den Megaraid 9560-8i eine SSD zusätzlich anbinden. Bisher sind 4 SAS Platten per Adapter dran; Angeschlossen soll dann die Kingston DC3000ME PCIe 5.0 NVMe U.2 SSD. Wie stelle ich das am blödesten an? Hab bisher nur, weil die übrig war, eine kleine NVME dran. Was gibt es da, bzw was brauche ich da. Und ja, die volle PCIE 5.0 Gechwindigkeit werde ich nicht erreichen, Aber wenn der Controller schon 8 Lanes nimmt, dann kann man diese auch benutzen.

 

[underclocker2k4]

Brauchst halt nen passendes Kabel für den Tri-Mode controlller.
Das wird aber nicht parallel mit den SAS Platten gehen.
Außer es gibt nen Kabel was quasi 4x SAS und 1x NVMe hat. Kenn ich aber nicht, noch nie gesehen.

Besser wäre eine U.3 SSD (wäre eh mein genereller Tipp, U.2 überspringen und direkt U.3 machen), da kannst du an das selbe Kabel sowohl SAS-SSDs als auch NVMe anschließen.
Muss dann halt ein U.3 Kabel sein. Also SlimSAS i8 zu 8x U.3.
Bevor du danach suchst, setz sich auf jeden fall hin und schnall dich an. (ehrlich jetzt, das merkste im Geldbeutel)

 

[pwnbert]

Ich hab beim 9400-16i mit dem TriMode herumgedoktort und ohne dem proprietären Kabel (welches man nicht so einfach findet, wenn dann sauteuer gebraucht und schwer zu identifizieren) hab ich nichts hinbekommen (diverse augenscheinlich passende Adapter aus China haben nicht funktioniert).

Auf jeden Fall Augen auf vorher, ganz trivial ist das nicht.

Nachtrag:
Folgender Suchbegriff wäre es:
Broadcom U.2 NVMe Enabler cable
Aber aufpassen und auf der Homepage wegen Teilenummern/Zubehör lesen und so, ich trau mich wetten, da gibts auch nochmal verschiedene...

 

[b99]

ist ein wenig gebastelt bei mir. Der Controller hat ein SFF-8654-8i Port. Von dort aus gehe ich mit einem Kabel (SFF-8654-8i auf 2x 8654-4i) zu einer NVME SSD
Das Andere Ende geht per Adapter auf SFF-8643 Weiter zu den HDDs auf 4x SFF-8482. Festplatten habe ich 4x Seagate ST20000NM002D als Hardware Raid5 im Einsatz. Die NVME SSD bisher noch gar nicht, weil mir die Einbaumöglichkeit nicht gefällt: https://www.amazon.de/dp/B09FJW5NDG
Deswegen möchte ich gerne auf eine geeignete 8 TB SAS SSD umsteigen und diese dann auch verwenden. Budget liegt bei ca 1000 EUR

 

[underclocker2k4]

Aber ne Backplane ist nicht dazwischen?
Dann würde ich echt auf nen U.3 System gehen. Das ist Pinkompatibel zu SAS.
Nachteil wäre, dass die SSD dann mit nur einer PCIe Lane angebunden ist.
Kommt auf den Usecase an. @ home dürfte das aber reichen.

https://docs.broadcom.com/doc/12354774

 

[b99]

Die SSD wird eigentlich zum Videoschnitt benutzt. Also ich würde da schon die 4 Lanes nutzen wollen. PCIe 4.0 reicht da auch aus. Gehen ja locker über 6 GByte/s rüber. Die Platten bringen so was 1 Gbyte/s im Test.

Backplane ist nicht im Einsatz.

 

[underclocker2k4]

Wenn du eh kein RAID auf der SSD machst, warum dann nicht ans MB?
Gibt doch auch Steckkarten für 2,5" SSD Montage.

 

[pwnbert]

Ich tät diese eine SSD einfach ans Mainboard hängen direkt... einfacher, schneller, billiger... klar, kostet Lanes.

Aber der Neugier halber hab ich ins Produktdatenblatt geschaut, können mir die PROs hier erklären, wie das mit den 32 NVMes funktioniert?

 

[underclocker2k4]

PLX?

Ist ja analog SAS. Wie will man denn sonst 240 HDDs an einen Controller kriegen?

 

[b99]

genau das ist ja das, wo ich am Überlegen bin. Mainboard ist es mein Desktop mit (Asus 870 Creator). Momentan habe ich da 3x Samsung 990pro 4TB drauf. Nvidia 4070 TI Super und den SAS Controller. Diese 8 TB SSD soll ja dann zwei von den 990pro ersetzen. Eine bleibt dann noch fürs System, wobei ich da am Überlegen bin, mir eine 9100Pro zu holen. Die Lanes vom Chipsatz sind nicht so ganz performant, deswegen will ich diese 8 TB dann lieber am Controller mit den noch 4 ungenutzen Lanes betreiben. Vielleicht ist das Brett dann auch etwas stabiler. Ist ja eine Menge onboard (10G Lan, USB4, usw.)
Cpu ist es der 9950X: https://valid.x86.fr/833tpv

 

[underclocker2k4]

Ist denn noch ein Slot frei?

Man könnte noch sowas machen:

https://www.amazon.de/Karte-Ports-Switch-Chipsatz-Profile/dp/B097HRQJZ8

Das ist wie er LSI Controller, nur komplett ohne Logik und damit auch kein (integriertes) RAID. (eigentlich nen PLX)
Da kannst du dann 8SSDs machen. Das RAID müsste dann vom MB können. (das können ja viele)
Dann kannst du die ggf. auch die 9100pro sparen und machst alles mit U.2 oder besser U.3.

 

[b99]

und wo nehme ich die Lanes her? Das Raid ist fertig und wird verwendet.. mal so nebenbei 12 TB an Daten im Moment sind auch nicht mal schnell ausgelagert,. Softwareraid will ich nicht. Und rein zufällig sind mir die 16x Steckplätze auf dem Board ausgegangen. Die Einfachste Lösung wäre da wirklich nur eine einfache NVME an den Controller ran. Also die 970er von Samsung, die ich experimentell mal angeschlossen habe, gegen eine 8 TB zu ersetzen.

Hier mal kurz die Performance für das HDD Raid mit dem 4 GB Cache.

mein alter Controller konnte noch CacheCade Pro. Aber das scheint es bei Broadcom nicht mehr zu geben. Hatte dafür einen kleinen Hardwaredongel dran.

 

[pwnbert]

genau das ist ja das, wo ich am Überlegen bin. Mainboard ist es mein Desktop mit (Asus 870 Creator).

Das Brett müsste eh 2 lange PCIe 5.0 haben, oder? Also x8/x8 können bzw. x8 / x4x4 so irgendwie?

8x PCIe 5.0 reicht ja für die GPU.

 

[b99]

GPU ist 8x PCIe 4.0. Mehr kann die Nvidia nicht. Und der SAS nimmt die anderen 8 Lanes. Benötigt aber nur 4 für die HDDs und 4 für die NVME. Und genau diese 4 will ich für die U2 einsetzen. Die Kingston schein da vom Preisleistung recht gut zu sein.

 

[pwnbert]

Kannst den Controller nicht auf 4 Chipsatz-Lanes hängen und die SSD dafür in den 2. PCIe 5.0?

Ich seh gerade, der untereste Slot hat PCIe 4.0x2, wäre aber imho genug für den Controller mitm HDD-Raid drauf...

Keine Ahnung ob das Mainboard im 2. CPU-PCIe Slot x4 + x4 statt x8 kann, für sowas z.B.:

Pci Express Pci-e 4.0 8x Bis 2 * Sff-8639 U.2 U2 Nvme Ssd-konverter-adapter Karte-motherboard-unterstützung Pcie Bifurcation - Buy Pci Express Pci-e 4.0 8x To 2 * Sff-8639 U.2 U2 Nvme Ssd Converter Adapter Card - Motherboard Support Pcie Bifurcation

Pci Express Pci-e 4.0 8x Bis 2 * Sff-8639 U.2 U2 Nvme Ssd-konverter-adapter Karte-motherboard-unterstützung Pcie Bifurcation - Buy Pci Express Pci-e 4.0 8x To 2 * Sff-8639 U.2 U2 Nvme Ssd Converter Adapter Card - Motherboard Support Pcie Bifurcation Product on Alibaba.com

german.alibaba.com

 

[b99]

die Performance bzw Stabilität am Chipsatz lässt zu wünschen übrig. Für mich ist es auch das Letzte Mal, das ich für mich diese Platform wähle. Das nächste mal wird das ein Threadripper, da gibt es dann keine Probleme mehr mit Ram Vollausbau oder PCIe Lanes. Die sind in der CPU zu genüge vorhanden. Evtl kommt noch mal ein CPU Upgrade auf diesem Board mit der nächsten Generation... wenn die Gerüchte mit den 24 Kernen sich bewahrheiten. Ansonsten in zwei Jahren dann die Threadripper Geschichte. Die machen genau das Selbe, nur mit mehr Lanes direkt an der CPU und mehr Ram-Kanäle.

 

[pwnbert]

Schon probiert, mit dem Raid-Controller am PCIe 4.0x2?
Imho sollte so ein moderner Controller auch mit 2 Lanes laufen (also 4 GB/s dann).

Ich kann mir auch echt nicht vorstellen, dass die Performance "da unten" so schlecht sein soll - für ein HDD Raid aus 4 HDDs.
Ich weiss, der X670E/870E ist im Aufbau sehr suboptimal, aber DAFÜR muss das imho. allemal reichen.

Ich tät das nochmal probieren.

CPU PCIe Lanes hast ja genug, imho 2x M.2 und dann eben beide PCIe Slots mit x8 / x8 (evtl x4x4?)...

Das nächste mal wird das ein Threadripper, da gibt es dann keine Probleme mehr mit Ram Vollausbau oder PCIe Lanes.

Klar, aber preismäßig nochmal eine ganz andere Liga und auch nicht "schneller" (bis 16 Cores/Threads halt... bzw. bis zum RAM Limit).



Nur Mut, steck den Controller mal nach unten, ich trau mich wetten, das macht keinen Unterschied (oder hast es echt schon probiert).

Ich tät den Controller nur für den Spinning Rust verwenden und die SSDs direkt machen. Imho ist die Performance der Chipsatz PCIes immer noch >>> Spinning Rust.

 

[b99]

wird nur Eng wegen der Kühlung. Bin vom alten 9361 auf den 9560 umgestiegen und habe an der Stelle immer noch die Sammlung Lüfter dran. Der alte war ein extremer Hitzkopp. Ob ich den jetzigen ohne Kühlung laufen lassen kann, ist eher fraglich für mich. Riskieren will ich es nicht. Mir reicht es schon, das sich andauernd USB-Geräte aufhängen, die am Chipsatz hängen. Also als Hobbypilot gerne mal der Joystick weg, oder die Überwachung vom Netzteil nicht mehr da. Ist schon etwas komisch das Ganze

 

[underclocker2k4]

GPU ist 8x PCIe 4.0. Mehr kann die Nvidia nicht. Und der SAS nimmt die anderen 8 Lanes. Benötigt aber nur 4 für die HDDs und 4 für die NVME. Und genau diese 4 will ich für die U2 einsetzen. Die Kingston schein da vom Preisleistung recht gut zu sein.

Der RAID Controller teilt keine Lanes auf.
Das ist einfach nur ein Controller, der x Lanes zum System hat.
Der teilt dann die Last auf, wie es ihm passt.
Es gibt da keine 1:1 Zuordnung oder sowas.
Auch nicht, wenn man 2x NVMe x4 anschließt. Das läuft auch in einem x1 Slot, sofern der Controller das grundsätzlich kann.

Rein vom Speed her benötigst du für die HDDs eigentlich noch nichtmal die Bandbreite einer PCIe Lane.
Sprich also, du kannst den Controller auch ohne weiteres in einem x2 oder x4 betreiben und hast keine Probleme beim Speed.

 

[pwnbert]

wird nur Eng wegen der Kühlung.

Imho sollte der 9560 nicht so schlimm sein, 9,6W max. als 8i (hab das Datenblatt oben reingestellt), die Kühler bei den neueren sind ja nicht so klein.
Tät ich mich trauen, solang das Case bissl Airfow hat.

Mir reicht es schon, das sich andauernd USB-Geräte aufhängen, die am Chipsatz hängen.

Mh, is blöd, aber imho hat das weniger mit dem PCIe Kram zu tun. Vllt. auch ein fehlerhaftes / verbugtes USB Gerät.

Der RAID Controller teilt keine Lanes auf.

This...

Rein vom Speed her benötigst du für die HDDs eigentlich noch nichtmal die Bandbreite einer PCIe Lane.

... and that.

Drum tät ich den Controller nur für die HDDs nehmen und in den "kleinen" PCIe Slot stecken.

SSD Leistung ist dann abhängig vom Chip am Controller, wie schnell der wirklich ist... hab mir sagen lassen, die NVMe Performance am TriMode Controller soll eher meh sein, habs aber nie testen können.



Halb-OT:
Hab btw. jetzt auf Ali ein U.2 Enabler-Cable für den 9400er gefunden, hab das mal für ca. 40€ bestellt, soll laut kommentar laufen. Wenns echt geht, werd ich bei Zeiten mal Benchmarks posten.

 

[b99]

genau, aber ich kann die Linkgeschwindigkeiten der einzelnen Lanes einstellen:

 

[underclocker2k4]

Ja, das sind die Lanes, die vom Controller abgehen.

Wir haben 32er Controller im Einsatz.
Der hängt an einem 16er Slot. Was glaubst du, mit welchen Feenstaub der Controller die ersten 16 Lanes auf der Abgangsseite den PCIe-Slot Lanes zuordnet und dann die zweiten 16 Lanes auf der Abgangsseite via WLAN anbindet?

Das man das einstellen kann, hat mit dem Problem von @pwnbert zu tun. Man kann sich bei PCIe Lanes (denn nichts anderes sind das auf der Abgangseite, wenn man NVMe macht, nur dass der Controller hier als neuer PCIe Master auftritt) nämlich ganz schön einen abfeiern, wenn mans falsch macht. Reduziert man den speed der Lanes, kann man auch mit schlechten Kabeln wieder eine Stabilität erreichen.

 

[pwnbert]

Ja, aber was bringt dir das, da müsstest halt schauen, was wirklich am Ende dabei rauskommt.
Die theoretische Verbindungsgeschwindigkeit ist das eine, was rauskommt, das andere.

Wir haben 32er Controller im Einsatz.

Hast du einen ungefähren Wert, wie viel man durch den Controller "verliert"?

Also angenommen wir haben hier nen PCIe 4.0x8 Controller und hängen da 2x "gute" U.3 PCIe 4.0x4 SSDs dran... wie viel ist das langsamer als wenn die SSDs direkt am PCIe wären?

In dem Beispiel ist der Controller ja eigentlich unnötig, aber weisst du, was ich meine?

 

[underclocker2k4]

Keine Ahnung, nie getestet.
Wir machen aber auch kein NVMe.

 

[b99]

hab keine Ahnung. Hab für mich als Hobbybastler so ein Controller im Einsatz, mehr als 4 Platten mit ordentlich Cache war nicht geplant.
grad mal der kleinen 970er Samsung ein Buchstaben zugewiesen und ein Bench gemacht.

 

[pwnbert]

Wie meinst du? 970er? Hast die mit Adapter auf den Controller bekommen?

 

[b99]

auf dieser Karte ist die drauf: https://www.amazon.de/dp/B09FJW5NDG

 

[pwnbert]

Hm spannend, und das läuft?
Hab den Adapter nämlich gar nicht zum laufen bekommen, aber ggf. ist der 9400 da anders weil noch älter...

Ist halt leider nur ne PCIe 3.0 SSD deine 970er, aber soo schlecht sieht das alles nicht aus.

Trotzdem, ich würd dazu tendieren das Ding direkt auf CPU Lanes zu machen, ist einfach flotter.

 

[b99]

ist der 9400 ein TriMode? Bin deswegen vom 9361 umgestiegen. Wollte PCIe 4 und NVME dran laufen lassen.

 

[pwnbert]

Jo, war ein Lenovo, musste den aber erst mit orig. Firmware flashen, weils nicht ganz easy war und bei lenovo nicht aktiviert war.
Laut Storcli kann ers jetzt, aber wie gesagt, die Adapter sind bei mir nicht gelaufen weil das Pinout da irgendwie "komisch" war, ist aber auch ein anderer SFF Stecker.

Wenn diese "komische" Adapterkarte bei dir mit der 970er läuft, wird wsl. auch ne U.2 mit dem passenden Adapter laufen, so meine Mutmaßung, versprechen kann ich dir mangels Erfahrung aber nix.


Warum ich die HDDs auf den Controller im "langsamsten" PCIe Slot hängen würde und die SSD direkt an den CPU PCIe, hab ich ja schon erläutert.


Am Ende bist ja frei es so oder so zu machen, dass U.3 evtl. besser wäre hat der underclocker ja gesagt, ich kann dazu nicht so viel sagen, aber nachdem er da eine ausreichende Erfahrung hat, würde ich den Tip beherzigen (bzw. der Sache zumindest nachgehen, inwiefern das für dich vorteilhaft / möglich / sinnvoll ist).