Number Cruncher - konkrete Produktempfehlungen mit dem Augenmerk auf den Preis

[QGel]

Liebe Community,

es ist für mich mal wieder an der Zeit neue Numbercruncher zu beschaffen. Sollte ich hier falsch sein, bitte einfach in das Server sub verschieben. Die Maschinen machen zu 100% Berechnungen auf Vektoren (wissenschaftliches Umfeld) und stehen in einem Serverraum. Da wir möglichst viele Rechner kaufen möchten, sollten alle Empfehlungen eurerseits mit Bedacht auf den Preis getroffen werden. Wenn der Speicher zwar 12% schneller ist, aber dafür 50% mehr kostet ist das keine Option. Value Produkte sind gefragt.

Hier ein paar Eckpunkte zur Berücksichtigung:
- Preis pro Rechner max 2500€,
- ob AMD oder Intel ist egal,
- lieber mehr Kerne als schnellerer Takt,
- min. 64GB Speicher,
- ob 19" Rack Case oder normales Endanwender-Case ist egal,
- kleine SSD ist ausreichend (wir haben ein zentrales Speichersystem),
- alles muss Linux kompatibel sein.

Die wichtigsten Infos für mich sind:
- Welcher Prozessor,
- welches Mainboard und
- welcher Speicher.

Alles weiteren Tipps sind gern gesehen. Aber die kann ich mir auch hier aus dem Forum ziehen.

LG
Mario

 

[Morpheuz]

Für solche ein Szenario würde ich mich in Richtung Blades umsehen. Oder 1HE/2HE Rackmounts.
Kommt darauf an wieviele Kisten angeschafft werden sollen und wieviel Platz ihr dafür im RZ bekommt.

Bei Selbstbau:
Bei nem Blade wären es ca 700-1000€ fürs Blade inkl. Mainboard. 300-400 je 32GB DDR4 Reg ECC Modul.
Dann würden vom Preis her ca die Xeon Silver 4108 (8x 1.8GHz) oder 4110 (8x 2.1GHz) passen.

12 oder 14 Cores werden selbst für Single Socket Systeme schnell zu teuer. Für den kleinen 12 Kerner (Xeon Silver 4116 legste knapp 1000€ hin).

Alles in allem eher eine Anfrage die du an ein Systemhaus stellen solltest, je nach Abnahmemenge bekommst du dann bessere Preise.

 

[flxmmr]

es ist für mich mal wieder an der Zeit neue Numbercruncher zu beschaffen. [...] Value Produkte sind gefragt.

Hier ein paar Eckpunkte zur Berücksichtigung:
- Preis pro Rechner max 2500€,

Leider hängt das oft sehr spezifisch vom Problem ab, was günstig ist... Da ihr mehrere Rechner braucht wäre da zuerst schon mal festzustellen, ob Ihr auch Clusterbetrieb plant und wenn ja, ob das auch mit 08/15-Gigabit-LAN (mehr wird man für 2500€ vmtl. nicht bekommen, v.a. hier in dem Forenbereich nicht vorgeschlagen) zufriedenstellend klappt...

- ob AMD oder Intel ist egal,

allerdings recht relevant für Dinge wie: wieviel RAM brauche ich für Speicherdurchsatz x, wie gut skaliert OpenMP/MPI/..., gibt es Compiler.

- lieber mehr Kerne als schnellerer Takt,

würde ich jetzt spontan auch mal AMD einbeziehen.

- min. 64GB Speicher,

ECC ja/nein. Wenn das, was ihr macht mit Parallelisierung via GBit-LAN klar kommt, lehne ich mit aus dem Fenster und behaupte, dass es auch hinreichend tolerant ggü. den Fehlern sein wird, die ECC korrigiert...

 

[QGel]

Leider hängt das oft sehr spezifisch vom Problem ab, was günstig ist... Da ihr mehrere Rechner braucht wäre da zuerst schon mal festzustellen, ob Ihr auch Clusterbetrieb plant und wenn ja, ob das auch mit 08/15-Gigabit-LAN (mehr wird man für 2500€ vmtl. nicht bekommen, v.a. hier in dem Forenbereich nicht vorgeschlagen) zufriedenstellend klappt...

allerdings recht relevant für Dinge wie: wieviel RAM brauche ich für Speicherdurchsatz x, wie gut skaliert OpenMP/MPI/..., gibt es Compiler.

würde ich jetzt spontan auch mal AMD einbeziehen.

ECC ja/nein. Wenn das, was ihr macht mit Parallelisierung via GBit-LAN klar kommt, lehne ich mit aus dem Fenster und behaupte, dass es auch hinreichend tolerant ggü. den Fehlern sein wird, die ECC korrigiert...

Kein Clusterbetrieb, kein openMP/MPI und nein, keine Compiler. Weiterhin brauchen wir keinen ECC Ram.

 

[flxmmr]

Wenn ihr keinerlei Parallelisierung im Programm (wäre mir neu, dass Lineare-Algebra-Routinen auf POSIX-Threads setzen???) habt, verstehe ich aber nicht ganz, wieso du 64GB RAM brauchst, denn imho sollte der Bedarf da ja im wesentlichen mit der Anzahl paralleler Tasks steigen...

Wenn also alle Tasks nur einen Kern nutzen: AMD mit Sockel: TR4 Preisvergleich Geizhals Deutschland (die mit 24/32 Kernen sind eher ungeeignet, außer die Tasks brauchen keinen Speicherzugriff) oder ein Board finden, dass ohne Grafikkarte startet und dann: AMD mit Segment: Desktop, Sockel: AM4, Kerne: 8 (Octa-Core) Preisvergleich Geizhals Deutschland (das dürfte bei Optimierung der RAM-Menge wohl die günstigste Option Kerne/€ sein – aber vorher noch mit Betriebskosten etc nachrechnen! (wenn ihr keine Parallelisierung nutzt, aber mehrere Maschinen braucht, dürfte es ja egal sein, ob ihr nun 2 oder 4 habt...))

 

[QGel]

Wir nutzen Parallelisierung, aber eben nur auf einem Rechner.

Danke für den Tipp.

 

[flxmmr]

Und kein MPI/OpenMP – entwickelt ihr die Software selbst? In dem Fall lohnt es sich dann aber vmtl. doch, etwas größeres zu beschaffen. Der TR sieht da an sich für sowas ganz gut aus, musst du halt recherchieren, wie gut der mit eurer Software zusammenspielt (hat eben 2 NUMA-Nodes). Würde ich (falls ich bei uns Beschaffungsentscheidungen träfe/bei der nächsten Runde werde ich das einbringen) definitiv in Betracht ziehen, im Moment stehen bei uns nämlich 4-Sockel-Xeon-Platinums für 16000€ das Stück (wenn das Institut im Geld schwimmt...). Grundsätzlich solltest du auch berücksichtigen, dass man mit 2500€ schon recht limitiert ist, was den Ausbau angeht (geht eben nur bis 8 Kerne bei Intel/Epyc/16-Kernen bei TR). Die Basis wäre aber auch für größere CPUs nicht teurer (und selbst für Dual-Sockel nur unwesentlich – Netzteil, Gehäuse, SSD, Mainboard → ~800-1000€), zahlt man aber bei mehreren Geräten immer wieder neu.

 

[QGel]

Ich weiß das 2500€ nicht viel sind....

Ich habe gerade nochmal die aktuellen openBLAS (Algebra Library für AMD) und MKL (Intels Algebra lib) verglichen und da hat MKL klar die Nase vorn. Daher kann ich nun mit Sicherheits sagen: Intel only. Die Frage wäre dann hier: welches Prozessor-Model und welches Board.

 

[flxmmr]

Die Maschinen machen zu 100% Berechnungen auf Vektoren (wissenschaftliches Umfeld) und stehen in einem Serverraum. Da wir möglichst viele Rechner kaufen möchten,

Ich weiß das 2500€ nicht viel sind....

Ich meinte eben, dass es sinnvoller sein dürfte, wenn man 5000€ hat, einen Rechner für 5000€ zu kaufen, statt 2 für 2500€, das Preislimit pro Rechner erscheint mir recht blödsinnig ...

Ich habe gerade nochmal die aktuellen openBLAS (Algebra Library für AMD) und MKL (Intels Algebra lib) verglichen und da hat MKL klar die Nase vorn. Daher kann ich nun mit Sicherheits sagen: Intel only. Die Frage wäre dann hier: welches Prozessor-Model und welches Board.

An sich laufen die Intel-Compiler/MKL auch auf AMD-Rechnern. Und je nach Workload mag da die doppelte Rohleistung eines TR vs. eines vergleichbar bepreisten Xeons/iX durchaus eine Menge aufholen. Ganz im Gegensatz zu vielen Menschen hier im Forum (AMD ist soviel besser, als Intel, sooo viele Kerne für so wenig Geld), ist die Sache mit der Vergleichbarkeit am Ende aber nicht so einfach (siehe hier: OpenBLAS is faster than Intel MKL on AMD Hardware (Ryzen) - Performance - JuliaLang) und praktisch müsste einfach jemand für d/seine Applikation einen Vergleich machen, allerdings kauft halt niemand für je 10000€ zwei unterschiedliche Systeme, um dann zuerst einen kleinen Vergleich zu machen...
Wenn du aus irgendwelchen Gründen einen Epyc willst (>16/32 Kerne), verschwindet dieser "Kostenvorteil" von AMD allerdings auch schnell.

 

[QGel]

Den Artikel habe kenne ich sogar. Allerdings arbeiten wir nicht mit Julia, sondern in erster Linie mit R und Python.

Der Hintergrund mit den 2500€ ist folgender: Bei uns arbeiten manche mit R, manche mit Pyhton. Der eine lässt simple statistische Verfahren auf den Datensätzen laufen, der nächste möchte ein Neuronals Netzwerk über eine GPU trainieren. Der nächste hat eventuell einen besonders hohen Speicherbedarf. Diese Zusammenstellung dient als Fundament. Bei dem einen Rechner kommen GPUs dazu, bei dem nächsten noch etwas mehr Speicher und so weiter und so fort.

 

[Gubb3L]

Wie wäre es um die aufkommenden Fragen zu klären sich einfach mal bei AWS oder vergleichbaren Services für ein paar Tage entsprechende Kisten zu Mieten.
Dort einfach mal testen wie die Leistungsunterschiede real aussehen und danach entscheiden. Ist denke bei dem Budget um das es hier geht die sinnvollste Lösung um sich nachher nicht für die schlechteren/unpassenderen Systeme zu entscheiden.

 

[QGel]

@Gubbe3l: Da weiß ich ja nicht welche Hardware ich bekomme.

 

[flxmmr]

Der Hintergrund mit den 2500€ ist folgender: Bei uns arbeiten manche mit R, manche mit Pyhton. Der eine lässt simple statistische Verfahren auf den Datensätzen laufen, der nächste möchte ein Neuronals Netzwerk über eine GPU trainieren.

Der nächste hat eventuell einen besonders hohen Speicherbedarf. Diese Zusammenstellung dient als Fundament. Bei dem einen Rechner kommen GPUs dazu, bei dem nächsten noch etwas mehr Speicher und so weiter und so fort.

So ähnlich hat man es bei uns auch gemacht, am Ende führt das aber dazu, dass die Ressourcen alles andere als sinnvoll genutzt wurden... Tut euch den Gefallen, kauft ordentlich (d.h. günstig und so groß, dass ihr nicht 10mal 1000€ für die Basis zahlt) dimensionierte Systeme, 10 GBit-Ethernet und installiert Slurm oder ein anderes Batch-System eurer Wahl (im Idealfall das, was am nächsten HPC-Zentrum genutzt wird, bevor ihr weiter einkauft, fragt dort auch mal nach, ob die auch Server vermieten/verkaufen (quasi HPC-Colo)). Ansonsten kauft jedem Nutzer eine Workstation, so wie er sie gerne hätte, dann ist jeder zufrieden...

Bezüglich Gubbels-Vorschlag: man bekommt i.d.R. VMs mit Takt X und Architektur Y. Ansonsten kann man auch einen Root-Server mieten.

 

[QGel]

@flxmmr chapeau, ich beginne zu verstehen. Was wäre denn dein Ansatz, wenn ich keine 10 zu je 2500€ nehme, sondern dafür nur Systeme welche insgesamt 25.000€ kosten dürfen?

 

[flxmmr]

Wenn mir jemand 5000€ in die Hand drücken würde, würde ich mich näher über sowas informieren: AMD-HPC Preisvergleich Geizhals Deutschland. Abgesehen von der Nutzung habe ich leider recht wenig Erfahrung mit dem ganzen, kam zu meiner jetzigen Gruppe, als Aufgrund des Wachstums die erwähnten Skylake-Platinum-Quadsockel-Systeme beschafft wurden, wo dann alle Leute fleißig Jobs gestartet haben (und nein: "jeder beschränkt sich auf X-Threads" funktioniert nicht...) und sich gegenseitig auf den Füßen standen.
Gerade bei Gehäuse, Board, Kühler, etc wird dir da ein Systemhaus/andere Leute im Forum möglicherweise deutlich sinnvollere Ratschläge geben können (auch in Hinblick auf RAM-Ausbau/Kompatibilität – wäre bei Epyc eben schön, alle Speicherkanäle zu sättigen, aber dann muss man jeden Slot voll machen). Auch würde ich dann, wenn du weißt, was du willst einfach mal bei Dell/HPE/Fujitsu/Lenovo direkt anfragen!

Für 25000€ würde ich auf jeden Fall Dual-Sockel-Systeme kaufen, die sind imho einfach vom P/L besser, als Single-Socket-Systeme (wo Boards/Gehäuse eben ähnlich viel kosten). CPUs dann einfach so kaufen, dass es günstig wird, wenn der Takt nicht gebraucht wird (bei uns sind die taktlastigen Simulationsprobleme ja welche, in denen man dann einfach 10 Simulationen parallel laufen lassen kann und dann eben mal doppelt so lang wartet, aber die doppelte Menge schafft – Latenz und Bandbreite scheinen manche Leute aber noch nicht begriffen zu haben...); Epyc mag hier pro Kern/auch wegen den Toolchains langsamer sein, aber Intel ist eben auch mal eine ganze Ecke teurer, am Ende bleibt vmtl. für nicht extrem spezifische Workloads ein Vorteil für AMD (der ist aber, dass dann noch Dinge wie MKL und Co. im Raum stehen, für viele Anwender wohl zu gering). Wird alles hier ganz gut gezeigt: https://indico.cern.ch/event/730908/contributions/3153163/attachments/1730954/2810149/epyc.pdf (siehe auch Seite 16: die Xeon-Gold/16-Core-Epyc sind P/L mäßig deutlich günstiger, als irgendwelche Xeon-Platinums/32-Kern-Epycs).

 

[fdsonne]

Ein anständiges Systemhaus sollte normalerweise aber auch in der Lage sein, entsprechend mindestens mal ähnlich (in der Basis) konfigurierte Geräte als Leigabe/Testequipment zu stellen... Das wäre wohl auch noch ein Ansatz gerade um die mögliche Unbekannte AMD und dessen Leistungspotential auszutesten?

Kann allerdings nicht sagen ob das bei 25k overall realistisch drin ist. Das ist gemessen am Bedarf nicht sonderlich viel...

Kein Clusterbetrieb, kein openMP/MPI und nein, keine Compiler. Weiterhin brauchen wir keinen ECC Ram.

ECC brauchen ist gut - je nach System wirst du wohl müssen, weil RDimms idR mit ECC kommen - was halt einen gewissen Aufpreis bedeutet.
Auch muss man nach der absoluten RAM Größe schauen. 64GB pro System ist zwar eine Ansage, aber wenn du versuchst jetzt zu konsolidieren, also lieber dickere, dafür weniger Systeme wirds wohl dann auch mehr wie 64GB bedeuten. Nehme ich mal simpel die 10x64GB=640GB overall und nen 0815 Kinston DDR4 Reg. ECC Riegel für 135€ das Stück, brauchst du für 640GB overall alleine 5400€. Da hast du dann weder CPUs noch Boards noch Netzteile noch sonstwas. Und gebaut hat den Spaß auch noch keiner...

 

[QGel]

Super, vielen Dank

 

[Gubb3L]

@Gubbe3l: Da weiß ich ja nicht welche Hardware ich bekomme.

Du kannst z.B. bei Amazon verschiedene Kategorien an dedicated Hardware mieten.
Bei den speicheroptimierten Paketen (zum Testen ja erstmal egal) kannst du zwischen R5 (=Intel Xeon® Platinum 8175) und R5a (=AMD EPYC 7000er Serie) wählen.
Amazon EC2 Instance-Typen – Amazon Web Services (AWS)

Das wird in den anderen Bereichen auch so sein.
AWS ist immer noch sehr viel mit Intel CPUs unterwegs aber es kommen immer mehr AMD basierte Server (größerer Deal soweit mir bekannt ist letztes Jahr abgeschlossen worden).
So nen Server ist recht fix gemietet und bereit gestellt und der Support wird dir da auch bestimmt weiterhelfen können um für euch eine passende Testumgebung zu finden. Musst ihnen ja nicht auf die Nase binden dass du damit eigentlich nur kurz testen willst welche Plattform für euch die richtige ist

 

[QGel]

Cool,

wusste gar nicht das man explizit Hardware wählen kann. Vielen Dank!

 

[jdl]

Beim Kauf von HPC Hardware muss man etwas aufpassen. Auf was wurde bisher die Software genutzt? Das ist vor allem wegen der NUMA-Problematik extrem wichtig. Es nützt euch nichts, wenn ihr Hardware einkauft, die theoretisch super toll ist, aber mit eurer Software keine brauchbare Leistung liefert. Das muss vorher unbedingt abgeklärt werden. Daran hängt auch der Speicherbedarf, wenn man Pech hat sind die 64GB nämlich pro NUMA-Knoten notwendig und dann kann das schnell richtig teuer werden.

• Einen NUMA-Knoten haben: Xeon E, Ryzen Pro, Xeon W, Xeon SP (pro Sockel)
• Zwei NUMA-Knoten: Threadripper, Xeon SP (die lassen sich zum Teil so konfigurieren)
• Vier NUMA-Knoten zwei mit lokalen RAM, zwei ohne RAM: spezielle Threadripper Modelle (Finger weg von diesem Mist!!!)
• Vier NUMA-Knoten: EPYC (pro Sockel)

Alle AMDs haben nur Dualchannel RAM Anbindung pro NUMA-Knoten. Bei Intel Xeon E Dualchannel, Xeon W Quadchannel, Xeon SP Hexachannel bzw. Tripplechannel.
Spezielle HPC Hardware gibt es nur mit Xeon E, Xeon SP oder EPYC. Die Verfügbarkeit von brauchbarer AMD Hardware ist bescheiden. Am ehesten kann man auf SuperMicro Twin² (die gibt es wahlweise mit Xeon SP oder EPYC) setzen, aber das wird mit dem Preisrahmen schon arg knapp, da dürfte ein Twin² schon drüber liegen.