Mellanox (NVIDIA Mellanox) MQM8790-HS2F Τεχνική λύση μετατροπής InfiniBand

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Τεχνική λύση.

Ανάλυση του πλαισίου και των αναγκών του έργου

Καθώς η εκπαίδευση μεγάλων μοντέλων τεχνητής νοημοσύνης και η επιστημονική πληροφορική HPC κλιμακώνονται σε μεγαλύτερα αποτυπώματα,Η βασική πρόκληση για τα clusters υπολογισμού έχει μετατοπιστεί από την ισχύ υπολογισμού ενός κόμβου στην αποτελεσματικότητα επικοινωνίας μεταξύ των κόμβων.Τα δίκτυα RDMA χρησιμεύουν ως η ραχοκοκαλιά μεταφοράς για τις συλλογικές λειτουργίες, την πρόσβαση στην αποθήκευση και την κυκλοφορία στα σημεία ελέγχου, και η συμπεριφορά τους καθορίζει άμεσα τη συνολική χρήση των συστάσεων.

Οι τυπικές απαιτήσεις σε αυτά τα έργα περιλαμβάνουν:

• Μεγάλο εύρος ζώνης ανά κόμβο:Οι διακομιστές GPU απαιτούν όλο και περισσότερο 200Gb / s ή υψηλότερα για να συμβαδίσουν με τα φορτία εργασίας εκπαίδευσης πολλαπλών GPU.
• Προβλέψιμη χαμηλή καθυστέρηση:Το AllReduce και ο συγχρονισμός παραμέτρων είναι ευαίσθητοι στην καθυστέρηση της ουράς, όχι μόνο στην μέση καθυστέρηση.
• Δυνατότητα κλιμάκωσης:Ο ιστός πρέπει να μεγαλώσει από δεκάδες κόμβους σε εκατοντάδες ή χιλιάδες χωρίς να επανασχεδιάσει την τοπολογία.
• Διαχειρίσιμη:Οι ομάδες επιχειρήσεων χρειάζονται τηλεμετρία και ορατότητα συμφόρησης για να απομονώσουν αργούς κόμβους και λανθασμένους συνδέσμους.

Το MQM8790-HS2F είναι τοποθετημένο για να ανταποκριθεί στις απαιτήσεις αυτές ως πλατφόρμα μετατροπής HDR InfiniBand 200Gb/s.

Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου και συστήματος

Η συνιστώμενη αρχιτεκτονική είναι ένα μη αποκλειστικό δέντρο λίπους δύο επιπέδων, με ένα στρώμα σπονδυλικής στήλης που κατασκευάζεται από διακόπτες MQM8790-HS2F και ένα στρώμα φύλλου που συνδέει τους κόμβους υπολογισμού και αποθήκευσης.Αυτό το σχέδιο παρέχει ομοιόμορφο εύρος ζώνης ανατολής-δυτικής και προβλέψιμη ποικιλία διαδρομής, η οποία είναι απαραίτητη για τα πρότυπα κυκλοφορίας RDMA.

Οι βασικές αρχιτεκτονικές αποφάσεις περιλαμβάνουν:

• HDR από άκρο σε άκρο:Οι κόμβοι υπολογισμού που είναι εξοπλισμένοι με προσαρμογείς ConnectX-6 ή ConnectX-7 συνδέονται με ταχύτητα 200Gb/s με διακόπτες φύλλου, σχηματίζοντας μια συμβατή από άκρο σε άκρο διαδρομή MQM8790-HS2F.
• Δυνατότητα της σπονδυλικής στήλης:Κάθε διακόπτης MQM8790-HS2F 200Gb/s HDR QSFP56 με 40 θύρες παρέχει 40 θύρες με 200Gb/s, επιτρέποντας ευέλικτη κατανομή αναβαθμισμένων συνδέσεων και αναβαθμισμένων συνδέσεων με βάση τους στόχους υπερεπιγραφής.
• Υφάσματα αποθήκευσης:Οι στόχοι παράλληλης αποθήκευσης και NVMe-over-Fabrics μπορούν να τοποθετηθούν σε ειδικές ομάδες φύλλων για την απομόνωση της κυκλοφορίας αποθήκευσης από την κυκλοφορία εκπαίδευσης.
• Επιπέδου διαχείρισης:Η διαχείριση εκτός ζώνης και η συλλογή τηλεμετρίας διαχωρίζονται από το επίπεδο δεδομένων για την αποφυγή παρεμβολών.

Ο ρόλος του Mellanox (NVIDIA Mellanox) MQM8790-HS2F και τα βασικά χαρακτηριστικά

Σε αυτή την λύση, το Mellanox (NVIDIA Mellanox) MQM8790-HS2F λειτουργεί ως το βασικό στοιχείο εναλλαγής, συγκεντρώνοντας την κυκλοφορία των φύλλων και επιτρέποντας την υπολογιστική λειτουργία στο δίκτυο.μειώνει επίσης το κόστος επικοινωνίας και βελτιώνει την αποτελεσματικότητα των υφασμάτων.

Τα βασικά τεχνικά χαρακτηριστικά περιλαμβάνουν:

• 40 × 200Gb/s θύρες HDR:Μέχρι 16Tb/s συνολική απόδοση σε συντελεστή φόρμας 1U, με προσαρμοστική υποστήριξη για ταχύτητες HDR, EDR και FDR.
• Ηλεκτρονικές συσκευές SHARP:Εκφορτώνει το AllReduce και τις συναφείς συλλογικές λειτουργίες στον διακόπτη, μειώνοντας τη συμμετοχή της GPU και της CPU.
• Προσαρμοστική διαδρομή:Μειώνει τα θερμά σημεία και βελτιώνει την ισορροπία φορτίου σε πολλαπλές διαδρομές.
• Ελέγχος συμφόρησης:Υποστηρίζει το DCQCN και συναφείς μηχανισμούς για τη διατήρηση σταθερής καθυστέρησης υπό φορτίο.
• Οικοσύστημα λογισμικούΔιαχειρίζεται από το MLNX-OS και παρακολουθείται μέσω UFM και NetQ.

Οι αρχιτέκτονες θα πρέπει να αναθεωρήσουν το δελτίο δεδομένων MQM8790-HS2F και τις προδιαγραφές MQM8790-HS2F για τις λεπτομέρειες ισχύος, ψύξης και διαχωρισμού θύρων πριν από την οριστικοποίηση των σχεδίων ράκα.Η τιμή MQM8790-HS2F και οι επιλογές πώλησης MQM8790-HS2F θα πρέπει να επικυρώνονται με το κανάλι προμήθειας, καθώς η τιμολόγηση ποικίλλει ανάλογα με την κλίμακα και τη διαμόρφωση.

Συστάσεις για την ανάπτυξη και την επέκταση

Για την αρχική ανάπτυξη, ένας ενιαίος διακόπτης MQM8790-HS2F InfiniBand μπορεί να χρησιμεύσει ως σπονδυλική στήλη και πυρήνας σε ένα μικρό σύμπλεγμα, συνδέοντας έως 40 κόμβους με ταχύτητα 200Gb / s.Προστίθενται πρόσθετοι διακόπτες σπονδυλικής στήλης, και το ύφασμα μεταβαίνει σε ένα πλήρες διπλό σχεδιασμό με διαχωρισμό φύλλου-σπονδυλικής στήλης.

Οδηγία επέκτασης:

• Διδασκαλία καλωδίωσης:Ορθολογισμός των οπτικών QSFP56 και των τύπων DAC/AOC για την απλούστευση της εξοικονόμησης και τη μείωση του κινδύνου συμβατότητας.
• Διαίρεση λιμένα:Χρησιμοποιήστε διακοπή 2 × 100Gb / s όπου δεν απαιτείται 200Gb / s ανά κόμβο, βελτιώνοντας την αποτελεσματικότητα των λιμένων.
• Στόχοι υπεραπογραφής:Σχεδιάστε αναλογίες σπονδυλικής στήλης προς φύλλο με βάση τα πρότυπα εκρήξεων φόρτου εργασίας και όχι μόνο το θεωρητικό εύρος ζώνης κορυφής.
• Ενέργεια και ψύξη:Επιβεβαιώστε το χώρο ισχύος ανά ράκα σε σχέση με την ονομαστική πίεση του διακόπτη πριν από την κλιμάκωση.

Παρακολούθηση των λειτουργιών, επίλυση προβλημάτων και βελτιστοποίηση

Η λειτουργική ορατότητα είναι κρίσιμη για τη διατήρηση χαμηλής καθυστέρησης σε κλίμακα.Η λύση διακόπτη InfiniBand MQM8790-HS2F θα πρέπει να ενσωματωθεί με UFM για την παρακολούθηση σε ολόκληρο το υλικό και NetQ για τηλεμετρία και επικύρωση..

Οι συνιστώμενες πρακτικές περιλαμβάνουν:

• Παρακολουθήστε τους μετρητές ανά λιμάνι για σφάλματα, απορρίψεις και γεγονότα συμφόρησης.
• Παρακολουθήστε τους υποψηφίους με αργούς κόμβους χρησιμοποιώντας τηλεμετρία αντί να βασίζεστε αποκλειστικά σε αποτυχίες σε επίπεδο θέσης εργασίας.
• Ελέγξτε τη συνέπεια του firmware σε όλους τους διακόπτες και τους προσαρμογείς για να αποφευχθούν προβλήματα συμβατότητας.
• Επανεξετάστε περιοδικά τη διαμόρφωση SHARP, δεδομένου ότι τα λανθασμένα δέντρα συγκέντρωσης μπορούν να μειώσουν αντί να βελτιώσουν την απόδοση.

Σύνοψη και εκτίμηση της αξίας

Το MQM8790-HS2F παρέχει μια πρακτική βάση για RDMA, HPC και AI clusters που απαιτούν προβλέψιμη χαμηλή καθυστέρηση και υψηλό εύρος ζώνης.SHARP υπολογιστών δικτύου, και ένα ώριμο οικοσύστημα διαχείρισης, το NVIDIA Mellanox MQM8790-HS2F βοηθά τους αρχιτέκτονες να σχεδιάσουν υφάσματα που κλιμακώνονται χωρίς να θυσιάζουν την αποτελεσματικότητα.

Από την άποψη της αξίας, η συμβολή του διακόπτη θα πρέπει να αξιολογείται με βάση την αξιοποίηση των ομάδων, τον χρόνο ολοκλήρωσης της εργασίας και το λειτουργικό γενικό κόστος και όχι μόνο τον αριθμό των λιμένων.