[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

java4ever schrieb:
Da gibt's quasi nix zu beachten.

Passende Firmware von der Mellanox Seite ziehen (https://network.nvidia.com/support/firmware/connectx3proib/, ich würde MCX354A-FCCT nehmen, dann haste direkt Infiniband support zusätzlich statt nur Ethernet),

Dann
Code: 
mst start
flint -d /dev/mst/<hier PCIe Pfad der Karte> -i ./<Pfad der Firmware> -allow_psid_change burn

Kiste neu starten, fertig (die ConnectX-3 können leider kein anständiges mlxfwreset, deswegen Kiste neu starten)
Zum Vergrößern anklicken....
Das ist kein x3pro sondern ein x3, und wenn ich über die x3 seite gehe will er wissen welche OPN - und da bin ich lost:

Danke auf jeden Fall schonmal bis hier, auch für das command. Und lol Seite 1, wer rechnet denn damit bei einem Sammelthread... jaja Asche auf mein Haupt :x
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Öhm ja tatsächlich, das schrieb ich. Verzeih diese Verwirrung meinerseits. Ich hab die Karte gerade vor mir liegen und nicht mehr eingebaut, daher kann ich gerade mst nicht verwenden, aber ich bin mir sicher das mich der Guide von Mellanox auf die non pro Seite geleitet hat, daher meine Verwirrung. Sobald die Karte wieder eingebaut ist und ich weiter testen kann geb ich Bescheid.
So es denn eine non pro Karte ist - für welche OPN sollte ich mich denn entscheiden?
 
lspci:
Code: 
61:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]

/usr/bin/flint_ext -d 61:00.0 q:
Code: 
Image type:            FS2
FW Version:            2.11.1250
Rom Info:              type=PXE version=3.4.136 proto=ETH
version_id=8025 type=CLP
Device ID:             4099
Description:           Node             Port1            Port2            Sys image
GUIDs:                 0002c903003b3d60 0002c903003b3d61 0002c903003b3d62 0002c903003b3d63
MACs:                                       0002c93b3d60     0002c93b3d61
VSD:                  
PSID:                  HP_0280210019

mlxfwmanager --query
Code: 
Querying Mellanox devices firmware ...

Device #1:
----------

Device Type:      ConnectX3
Part Number:      649281-B21_Bx
Description:      HP IB 4X FDR CX-3 PCI-e G3 Dual Port HCA
PSID:             HP_0280210019
PCI Device Name:  /dev/mst/mt4099_pci_cr0
Port1 GUID:       0002c903003b3d61
Port2 GUID:       0002c903003b3d62
Versions:         Current        Available    
FW             2.11.1250      N/A          
CLP            8025           N/A          
PXE            3.4.0136       N/A          

Status:           No matching image found

Hinten drauf ist ein Sticker mit S/N, GUID und MAC. Scheint mir also eine non pro zu sein. Und ja, ist dual port.
 
Jo, scheint eine non-PRO zu sein.

Dann CX354A-FCBT Firmware, Prozedere bleibt gleich. Sollte das doch wider erwarten eine PRO sein, wird er sich weigern die FW zu flashen.
 
Okay, super, vielen Dank! Ganz offenbar habe ich bei Ebay etwas falsches bzw. nicht geplantes gekauft - wie verhält sich denn die non pro zur pro?
 
@java4ever Was hast du denn jetzt an Switches noch im Angebot mit min 2 QSFP28 100g Ports und wo ich selbst nix mehr flashen müsste? :d
 
besterino schrieb:
@java4ever Was hast du denn jetzt an Switches noch im Angebot mit min 2 QSFP28 100g Ports und wo ich selbst nix mehr flashen müsste? :d
Zum Vergrößern anklicken....
Nix.

Ich mein, ich kann dir auch SoNIC auf einen der AS7716-32X draufspielen, dann musst du auch nix mehr flashen, aber ob du mit SoNIC klarkommst ist die andere Frage.

Ich kann dir evtl. auch nen SN2700 aus der Schweiz ordern und auf MLNX-OS / Onyx flashen... Aber das liegt mit allem (Grundpreis, Versandkosten, Einfuhrumsatzsteuer, Ersatz-SSD, kleiner Obulus für die Arbeitszeit beim Flashen etc...) sicherlich bei 2000€
 
Alles klar.

AAAARGH. Kann mir mal bitte jemand das Internet wegnehmen?

Hab mal bisken gestöbert und muss dann irgendwie ausgerutscht sein, der ist auf dem Weg zu mir:

geizhals.de

MikroTik Cloud Router Switch CRS504 Desktop 100G Managed Switch ab € 657,51 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für MikroTik Cloud Router Switch CRS504 Desktop 100G Managed Switch ✔ Produktinfo ⇒ Funktion: Switch • Typ: Standalone, Rackmount (via Montagewinkel) • Netzwerkanschlüsse: 4x QSFP28 • Gesch… ✔ Switches ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de

Next: Transceiver suchen... immerhin, Kabel hab ich noch (inkl. 4er Breakout)
 
Zuletzt bearbeitet:
Wenn dann irgendwann ein Nachfolger des CRS309 mit 8x SFP28 und 1x 2.5GbE kommt, bin ich überglücklich, wenn der nochmal 5W weniger braucht als der CRS504. Das ist zwar auf die mögliche Gesamtbandbreite gerechnet nochmal deutlich weniger effizient, aber eben bezogen auf den eigenen Bedarf absolut gesehen entscheidend weniger.🤷‍♂️
 
Ich brauch ja im Prinzip nur 3 Ports: 1x Server, 1x Client und 1x Uplink zu 'nem 08/15-10G Switch. Kann damit aber evtl. meine Infrastruktur wieder etwas verschlanken bzw. vereinfachen.
 
Einen Mellanox SN2100 (16x100G, irgendwo 35W IDLE wenn ich mich recht entsinne) kriegt man, wenn man auf der Hut ist, ein paar Mal im Jahr so um die 1000€-1200€ gebraucht... Das ist mE der deutlich bessere Deal, also das Mikroshit Ding. Wenn man schon ~800€ in einen 100G Switch investiert, dann lieber noch ein paar Monate länger mit 10G rumkrebsen, als das Geld so zu verbrennen :)
 
Ich hab aber nicht die Zeit (und Lust), um permanent EBay & Co. zu stalken, um eines dieser seltenen Angebote zu erwischen. Und ~250-450 Euro mehr für Ports die ich nicht brauche, muss nicht sein. Für 900 würd ich sofort zuschlagen, hab aber auch bei den 730 schon ein schlechtes Gewissen weil brauchen tu‘ ich das nicht wirklich….
 
Zuletzt bearbeitet:
Wie inkonsequent er heute wieder ist... Er "braucht" drei ports, dann wieder doch nicht... ;) wir reden hier doch nicht von Handtaschen, Mensch. Haben ist besser als brauchen! Wer billig kauft, kauft zweimal!
Obige Rechnung also bitte im Sinne j4e ändern und den 2100 in Betracht ziehen!
 
Hast Du denn schon einen? :d
 
java4ever schrieb:
Jo, scheint eine non-PRO zu sein.

Dann CX354A-FCBT Firmware, Prozedere bleibt gleich. Sollte das doch wider erwarten eine PRO sein, wird er sich weigern die FW zu flashen.
Zum Vergrößern anklicken....
Uhm CX534A-FCBT bietet er mir nicht an, wenn ich über den normalen Weg gehe:
https://network.nvidia.com/support/firmware/connectx3en/
Hab ich da andere Firmwares zur Auswahl:
1681642071681.png
1681642098548.png
1681642112140.png
1681642131569.png


Welche nehme ich denn jetzt und warum? Ich bin hinreichend verwirrt...

Edit sagt: Wenn ich dem ding hier folge sollte es doch funktionieren, oder?

Flashing stock Mellanox firmware to OEM (EMC) ConnectX-3 IB/Ethernet dual-port QSFP adapter

Hello! I have the opportunity to purchase some used dual-port Mellanox MCX354A-QCBT ConnectX-3 cards with VPI network adapter. (10 GbE Ethernet and 40 Gbps InfiniBand.) These would be perfect for my cluster after correct configuration.. They were originally pulled from EMC systems and...
forums.servethehome.com forums.servethehome.com

java4ever schrieb:
Die PRO kann zusätzlich RoCE v2. RoCE v2 ist im Gegensatz zu RoCE v1 routbar
Zum Vergrößern anklicken....
Okay, das ist mir relativ egal, danke!
 
Uhm und woher weiß ich das meine Karte eine IB/VPI und keine EN ist? Was ist der Unterschied? Auf jeden Fall schon mal danke, aber wie kommt man auf sowas?

Edit sagt:
Code: 
mlxfwmanager --query
Querying Mellanox devices firmware ...

Device #1:
----------

  Device Type:      ConnectX3
  Part Number:      649281-B21_Bx
  Description:      HP IB 4X FDR CX-3 PCI-e G3 Dual Port HCA
  PSID:             HP_0280210019
  PCI Device Name:  0000:06:00.0
  Port1 MAC:        0002c93b3d60
  Port2 MAC:        0002c93b3d61
  Versions:         Current        Available     
     FW             2.11.1250      N/A           
     CLP            8025           N/A           
     PXE            3.4.0136       N/A           

  Status:           No matching image found
Ist es wirklich dieses gut versteckte IB an dieser Stelle? Finde dazu wenig Info...
 
Zuletzt bearbeitet:
Shihatsu schrieb:
Uhm und woher weiß ich das meine Karte eine IB/VPI und keine EN ist? Was ist der Unterschied?
Zum Vergrößern anklicken....
Der Unterschied ist *nur* die geflashte Firmware. Alle ConnectX-3 sind in ihrer jeweiligen Kategorie (Dual-Port, Single Port, QSFP, SFP) hardwaremäßig identisch. Nur die geflashte Firmware unterscheidet, ob die Karte bspw. nur 40G kann oder 56G kann oder nur Ethernet kann oder Ethernet + Infiniband kann.

Deswegen gibt es ja den ganzen Crossflash Kram bei Mellanox. Einfach die dickste passende Firmware draufspielen, alle Features + Max Geschwindigkeit haben und glücklich sein ;)
 
Ach herje, danke für diesen "Ach so einfach ist das " Moment - fühle mich ein klein ein wenig weniger dumm, danke!
 
Danke! Habe das gute Ding mitlerweile auch erfolgreich flashen können, nur die Inbetriebnahme erweist sich als nicht so einfach.
Ziel: Beide Ports als einzelne Connection mit 40G mit einem Mikrotik Switch verbinden, ein port dabei nativ im proxmox server, ein port weitergeleitet an eine VM innerhalb proxmox.
Stand: Ich hab zwar laut Switch nen Link, aber laut proxmox Konsole nicht:
Switch:
1681655822712.png

ip link show
Code: 
10: enp6s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 00:02:c9:3b:3d:60 brd ff:ff:ff:ff:ff:ff
11: enp6s0d1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
link/ether 00:02:c9:3b:3d:61 brd ff:ff:ff:ff:ff:ff
Und eine weitere Sache die ich nicht verstehe ist die Konfiguration der Ports im Switch:
1681655892634.png

Muss ich hier von Hand Bondings anlegen um daraus eine 40G Connection zu machen?

Also alles was über 10G hinaus geht ist doch sehr viel Handarbeit stelle ich fest :d
 
Ich brauch nur ein OS, was L2 und RDMA (RoCEv2) kann…
 
Shihatsu schrieb:
Und eine weitere Sache die ich nicht verstehe ist die Konfiguration der Ports im Switch:
Anhang anzeigen 877820
Muss ich hier von Hand Bondings anlegen um daraus eine 40G Connection zu machen?

Also alles was über 10G hinaus geht ist doch sehr viel Handarbeit stelle ich fest :d
Zum Vergrößern anklicken....
Da musst du nix machen. Wenn ein QSFP+ Modul drin steckt ist der -1 Port 40GB und -2 -3 -4 sind inaktiv. Wenn ein Breakoutkabel im Port steckt sind -1 -2 -3 und -4 10GB Ports.
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh