NVIDIA Mellanox MQM9790-NS2F Τεχνική Αναφορά: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA/HPC/AI

Τεχνική Αναφορά NVIDIA Mellanox MQM9790-NS2F: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA/HPC/AI

1. Ιστορικό Έργου & Ανάλυση Απαιτήσεων

Οι σύγχρονοι φόρτοι εργασίας εκπαίδευσης AI και προσομοίωσης HPC χαρακτηρίζονται από έντονα μοτίβα επικοινωνίας όλων προς όλους (all-to-all) που θέτουν ακραίες απαιτήσεις στο υποκείμενο δίκτυο. Καθώς τα συμπλέγματα GPU κλιμακώνονται πέρα από τους 1.000 κόμβους, η παραδοσιακή προσέγγιση της βασιζόμενης στο Ethernet με έλεγχο συμφόρησης μέσω λογισμικού αποδεικνύεται ανεπαρκής. Βασικές απαιτήσεις που προκύπτουν από αυτά τα περιβάλλοντα περιλαμβάνουν:

• Ντετερμινιστική εξαιρετικά χαμηλή καθυστέρηση: Καθυστέρηση από θύρα σε θύρα κάτω του μικροδευτερολέπτου για ελαχιστοποίηση των χρόνων ολοκλήρωσης εργασιών MPI.
• Απώλεια μηδενικών πακέτων (Lossless fabric): Μηδενικές απώλειες πακέτων υπό συμφόρηση για την αποφυγή TCP incast και κατάρρευσης της απόδοσης.
• Εκφόρτωση υπολογισμών εντός του δικτύου (In-network compute offload): Μείωση της επιβάρυνσης της κεντρικής CPU για συλλογικές λειτουργίες (π.χ. all-reduce, broadcast).
• Κλιμακούμενη τοπολογία: Υποστήριξη για τοπολογίες fat-tree και dragonfly+ με πλήρες εύρος ζώνης διχοτόμησης (bisection bandwidth) έως χιλιάδες τελικά σημεία.

Το NVIDIA Mellanox MQM9790-NS2F είναι σχεδιασμένο για να καλύπτει αυτές τις απαιτήσεις ως διακόπτης InfiniBand 400Gb/s NDR με 64 θύρες OSFP, προσφέροντας την πυκνότητα και την απόδοση που απαιτούνται για αναπτύξεις κλάσης exascale.

2. Σχεδιασμός Συνολικής Αρχιτεκτονικής Δικτύου

Η προτεινόμενη λύση χρησιμοποιεί μια αρχιτεκτονική δύο επιπέδων leaf-spine, η οποία παρέχει ισορροπία μεταξύ κλιμάκωσης, ελέγχου υπερ-υποσυνδεσμοποίησης (oversubscription) και απλότητας καλωδίωσης. Στο επίπεδο leaf, κάθε rack υπολογιστών φιλοξενεί μία ή δύο μονάδες διακόπτη InfiniBand MQM9790-NS2F, παρέχοντας 64 θύρες συνδεσιμότητας 400Gb/s σε διακομιστές GPU. Στο επίπεδο spine, ένα δεύτερο επίπεδο διακοπτών MQM9790-NS2F διασυνδέει όλα τα leaves, δημιουργώντας ένα μη-μπλοκάρισμα δίκτυο (non-blocking fabric).

Για αναπτύξεις μεγάλης κλίμακας που υπερβαίνουν τους 2.000 κόμβους GPU, μπορεί να υιοθετηθεί μια αρχιτεκτονική τριών επιπέδων folded-Clos, με το MQM9790-NS2F 400Gb/s NDR 64-port OSFP να λειτουργεί τόσο ως leaf όσο και ως spine για τη διατήρηση σταθερής απόδοσης σε όλα τα επίπεδα. Αυτός ο σχεδιασμός διασφαλίζει ότι οποιοσδήποτε διακομιστής μπορεί να επικοινωνήσει με οποιονδήποτε άλλο διακομιστή με ταχύτητα γραμμής (line rate), με μέγιστο τρία άλματα διακόπτη (switch hops).

Ο παρακάτω πίνακας συνοψίζει τις τυπικές παραμέτρους κλιμάκωσης για ένα δίκτυο leaf-spine 2 επιπέδων που βασίζεται στο MQM9790-NS2F:

3. Ρόλος & Βασικά Χαρακτηριστικά του NVIDIA Mellanox MQM9790-NS2F

Στο πλαίσιο αυτής της αρχιτεκτονικής, το NVIDIA Mellanox MQM9790-NS2F λειτουργεί ως το θεμελιώδες δομικό στοιχείο, παρέχοντας πολλές κρίσιμες δυνατότητες:

• 400Gb/s NDR ανά θύρα: Κάθε μία από τις 64 θύρες OSFP υποστηρίζει αμφίδρομη ταχύτητα 400Gb/s, με διόρθωση σφαλμάτων προώθησης (FEC) για αξιόπιστη συνδεσιμότητα μεγάλης εμβέλειας.
• Ενσωματωμένο SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol): Εκφορτώνει συλλογικές λειτουργίες επικοινωνίας από τις κεντρικές CPU, μειώνοντας την καθυστέρηση MPI all-reduce έως και 40% σε εργασίες μεγάλης κλίμακας.
• Προσαρμοστική δρομολόγηση και έλεγχος συμφόρησης: Δυναμικά επαναδρομολογεί την κίνηση για την αποφυγή σημείων συμφόρησης, διασφαλίζοντας προβλέψιμη απόδοση ακόμη και υπό αντίξοες συνθήκες κίνησης.
• Προηγμένη τηλεμετρία: Μετρητές ανά ροή και ανά θύρα, μαζί με παρακολούθηση πληρότητας buffer, παρέχουν βαθιά ορατότητα στην υγεία του δικτύου.

Σύμφωνα με το φύλλου δεδομένων MQM9790-NS2F, ο διακόπτης προσφέρει καθυστέρηση cut-through κάτω των 100ns και υποστηρίζει συνολική χωρητικότητα μεταγωγής έως 51,2 Tb/s. Αυτές οι προδιαγραφές τον καθιστούν ιδανική επιλογή τόσο για νέες αναπτύξεις όσο και για σταδιαίες αναβαθμίσεις από υποδομές HDR (200Gb/s).

4. Συστάσεις Ανάπτυξης & Κλιμάκωσης

Για οργανισμούς που σχεδιάζουν να υιοθετήσουν τη λύση διακόπτη InfiniBand MQM9790-NS2F, συνιστώνται οι ακόλουθες οδηγίες ανάπτυξης:

• Στρατηγική καλωδίωσης: Χρησιμοποιήστε απευθείας συνδετικά καλώδια χαλκού (DAC) OSFP-to-OSFP για συνδέσεις εντός rack (έως 3μ) και ενεργά οπτικά καλώδια (AOC) ή οπτικούς πομποδέκτες για συνδέσεις μεταξύ racks και spine-leaf (έως 100μ).
• Πλεονασμός (Redundancy): Αναπτύξτε διπλά τροφοδοτικά και αρθρωτές μονάδες ανεμιστήρα που αντικαθίστανται εν λειτουργία (hot-swappable). Συνδέστε κάθε τροφοδοτικό σε ξεχωριστές PDU για αντοχή σε σφάλματα.
• Συνέπεια firmware: Βεβαιωθείτε ότι όλοι οι διακόπτες εκτελούν την ίδια έκδοση firmware της NVIDIA για την αποφυγή ασυμφωνιών χαρακτηριστικών. Χρησιμοποιήστε τη λειτουργία αυτόματης αναβάθμισης firmware του UFM για κυλιόμενες αναβαθμίσεις.
• Κλιμάκωση: Για συμπλέγματα άνω των 4.000 κόμβων, εξετάστε μια αρχιτεκτονική folded-Clos τριών επιπέδων ή dragonfly+ με ενεργοποιημένη την προσαρμοστική δρομολόγηση. Το οικοσύστημα συμβατό με MQM9790-NS2F περιλαμβάνει μια ευρεία γκάμα οπτικών και καλωδίων για την υποστήριξη αυτών των τοπολογιών.

Κατά τον υπολογισμό του συνολικού κόστους ιδιοκτησίας, λάβετε υπόψη τον μειωμένο αριθμό επιπέδων διακοπτών και την απλοποιημένη καλωδίωση σε σύγκριση με εναλλακτικές λύσεις χαμηλότερου radix. Ενώ η τιμή MQM9790-NS2F ανά μονάδα είναι υψηλότερη από τους διακόπτες προηγούμενης γενιάς, το κόστος ανά θύρα και το κόστος δικτύωσης ανά GPU είναι σημαντικά χαμηλότερα σε αναπτύξεις μεγάλης κλίμακας, καθιστώντας το μια οικονομικά αποδοτική επιλογή για έργα Exascale.

5. Λειτουργία, Παρακολούθηση & Αντιμετώπιση Προβλημάτων

Η αποτελεσματική διαχείριση ενός δικτύου NDR απαιτεί ένα ολοκληρωμένο πλαίσιο παρακολούθησης και αντιμετώπισης προβλημάτων. Ο Ενοποιημένος Διαχειριστής Δικτύου (UFM) της NVIDIA παρέχει ένα ενιαίο σημείο ελέγχου για ολόκληρο το δίκτυο που βασίζεται στο NVIDIA Mellanox MQM9790-NS2F, προσφέροντας:

• Οπτικοποίηση τοπολογίας: Αυτόματη ανακάλυψη και γραφική αναπαράσταση όλων των διακοπτών, συνδέσεων και τελικών σημείων.
• Πίνακες ελέγχου απόδοσης: Προβολές σε πραγματικό χρόνο της χρήσης θυρών, των ποσοστών σφαλμάτων και των δεικτών συμφόρησης.
• Προληπτική ειδοποίηση: Συναγερμοί βάσει ορίων για υποβάθμιση συνδέσεων, ανωμαλίες θερμοκρασίας και αστοχίες τροφοδοτικού.
• Απομόνωση σφαλμάτων: Καθοδηγούμενοι ροές εργασίας αντιμετώπισης προβλημάτων που εντοπίζουν ελαττωματικά καλώδια, πομποδέκτες ή θύρες διακοπτών.

Για προηγμένη αντιμετώπιση προβλημάτων, οι προδιαγραφές MQM9790-NS2F περιλαμβάνουν λεπτομερή παρακολούθηση buffer και στατιστικά σε επίπεδο ροής που μπορούν να εξαχθούν μέσω του REST API για ενσωμάτωση με προσαρμοσμένες στοίβες παρακολούθησης. Οι μηχανικοί δικτύων θα πρέπει επίσης να αξιοποιήσουν τα ενσωματωμένα εργαλεία διάγνωσης του διακόπτη, όπως δοκιμές loopback και ανάλυση BER (bit error rate), για την επικύρωση της ακεραιότητας των συνδέσεων πριν από την ανάπτυξη φόρτων εργασίας παραγωγής.

Συνήθη προβλήματα που αντιμετωπίζονται κατά τις πρώτες αναπτύξεις περιλαμβάνουν υποβέλτιστη δρομολόγηση που προκαλείται από άνισες ταχύτητες συνδέσεων ή ασυμβατότητα τύπων καλωδίων. Η ενεργοποίηση της προσαρμοστικής δρομολόγησης και η επαλήθευση ότι όλες οι συνδέσεις λειτουργούν στα 400Gb/s (με ενεργοποιημένο το FEC) επιλύουν την πλειονότητα των ανωμαλιών απόδοσης. Η λύση διακόπτη InfiniBand MQM9790-NS2F περιλαμβάνει επίσης υποστήριξη για πλεονασμό διαχειριστή υποδικτύου (subnet manager redundancy), διασφαλίζοντας ότι η επαναδιαμόρφωση του δικτύου μπορεί να πραγματοποιηθεί χωρίς χειροκίνητη παρέμβαση σε περίπτωση αστοχίας κόμβου διαχείρισης.

6. Περίληψη & Αξιολόγηση Αξίας

Το MQM9790-NS2F αντιπροσωπεύει μια σημαντική πρόοδο στη δικτύωση υψηλής απόδοσης, προσφέροντας εύρος ζώνης 400Gb/s NDR, πυκνότητα 64 θυρών και επιτάχυνση υπολογισμών εντός του δικτύου σε μια ενιαία, διαχειρίσιμη πλατφόρμα 1U. Για αρχιτέκτονες και μηχανικούς που σχεδιάζουν συμπλέγματα AI και HPC, αυτός ο διακόπτης παρέχει μια αποδεδειγμένη διαδρομή προς την απόδοση exascale, επιτρέποντας:

• Μείωση έως και 30% στους χρόνους ολοκλήρωσης εργασιών για φόρτους εργασίας εκπαίδευσης μεγάλης κλίμακας μέσω της εκφόρτωσης SHARPv3.
• Χαμηλότερο TCO σε σύγκριση με εναλλακτικές λύσεις, που οφείλεται σε υψηλότερο radix και μειωμένο αριθμό επιπέδων διακοπτών.
• Απλοποιημένες λειτουργίες μέσω της ενσωμάτωσης UFM και ολοκληρωμένης τηλεμετρίας για προληπτική διαχείριση σφαλμάτων.
• Μελλοντικά ασφαλής κλιμάκωση για την υποστήριξη διασυνδέσεων GPU και επιταχυντών επόμενης γενιάς.

Για οργανισμούς που αξιολογούν το MQM9790-NS2F προς πώληση μέσω του δικτύου συνεργατών της NVIDIA, συνιστούμε την ανασκόπηση του λεπτομερούς φύλλου δεδομένων MQM9790-NS2F και την επικοινωνία με έναν πιστοποιημένο αρχιτέκτονα λύσεων για την προσαρμογή της ανάπτυξης στις συγκεκριμένες απαιτήσεις φόρτου εργασίας και κλίμακας. Το NVIDIA Mellanox MQM9790-NS2F είναι έτοιμο τώρα να λειτουργήσει ως το υψηλής απόδοσης δίκτυο backbone για την επόμενη δεκαετία επιστημονικών ανακαλύψεων και καινοτομίας στην AI.