Τεχνική αναφορά NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch

Αυτό το τεχνικό white paper απευθύνεται σε αρχιτέκτονες δικτύων, μηχανικούς προ πωλήσεων και επικεφαλής επιχειρήσεων.NVIDIA Mellanox MQM8790-HS2FΤο InfiniBand Switch, παρέχει μια λεπτομερή αναφορά για το σχεδιασμό, την ανάπτυξη,και λειτουργία υφασμάτων υψηλών επιδόσεων που εξυπηρετούν την εκπαίδευση τεχνητής νοημοσύνης σε μεγάλη κλίμακα και τις προσομοιώσεις HPC ̇ με έμφαση στην επιτάχυνση RDMA και την καθοριστική επικοινωνία χαμηλής καθυστέρησης.

Τα σύγχρονα φορτία εργασίας AI και HPC οδηγούν τα γκρουπ GPU προς δεκάδες χιλιάδες κόμβους.παρουσιάζουν ασυνέπειες απόδοσης κάτω από τα πρότυπα ενσωματωμένων και υποφέρουν από υψηλότερα έξοδα CPUΟι βασικές απαιτήσεις για τις διασυνδέσεις ομάδων επόμενης γενιάς περιλαμβάνουν:

• Υπομικροδευτερόλεπτο καθυστέρηση σημείο-σημείο για συγχρονισμένες συλλογικές εργασίες
• Μεταφορά χωρίς απώλειες και χωρίς συμφόρηση για την πρόληψη των καθυστερημένων
• Πλήρης αποφόρτιση της επεξεργασίας επικοινωνιών από τους πυρήνες CPU/GPU
• Μεταβαλλόμενες τοπολογίες fat-tree ή dragonfly+ με μη αποκλειστικό εύρος ζώνης
• Οικονομικά αποδοτική διαδρομή μετανάστευσης από την υφιστάμενη οπτική 100G/200G

Το Ευρωπαϊκό ΚοινοβούλιοMQM8790-HS2F Διακόπτης InfiniBandπαρέχει HDR 200Gb/s ανά θύρα, 40 θύρες QSFP56 ανά μονάδα και εγγενή υποστήριξη για RDMA και υπολογιστές στο δίκτυο.Η λύση αυτή είναι ειδικά σχεδιασμένη για περιβάλλοντα όπου η αποτελεσματικότητα της διασύνδεσης μεταφράζεται άμεσα στο χρόνο ολοκλήρωσης της εργασίας και το συνολικό κόστος κατασκευής.

Η συνιστώμενη φυσική τοπολογία για τα clusters AI/HPC που χρησιμοποιούν τοNVIDIA Mellanox MQM8790-HS2FΚάθε διακόπτης φύλλου συνδέεται με διακομιστές GPU μέσω συνδέσεων HDR ή HDR100, ενώ οι διακόπτες σπονδυλικής στήλης παρέχουν πλήρη σύνδεση μεταξύ των φύλλων.Μια τυπική διαμόρφωση 800-GPU χρησιμοποιεί:

• 20 διακόπτες φύλλων: κάθε έναMQM8790-HS2F 200Gb/s HDR 40 θύρας QSFP56που εξυπηρετούν έως και 20 διακομιστές (διπλή σύνδεση σιδηροδρόμου)
• 4 διακόπτες σπονδυλικής στήλης: πλήρως διασυνδεδεμένοι με φύλλα χρησιμοποιώντας αναβαθμίσεις 200Gb/s
• Αναλογία μη αποκλεισμού 1:1 σε κάθε επίπεδο

Για μεγαλύτερα clusters (2.000+ GPUs), μια τρι-επίπεδης αρχιτεκτονική προσθέτει ένα super-spine layer.Όλη η διαχείριση των υφασμάτων χειρίζεται από τον διαχειριστή υποδίκτυου (SM) είτε τρέχει σε έναν ειδικό ελεγκτή είτε ενσωματώνεται στο firmware διακόπτη για μικρότερους υφασμούς.

Μέσα σε αυτή την αρχιτεκτονική, ηMQM8790-HS2FΤα βασικά χαρακτηριστικά της είναι:

• 200Gb/s HDR ανά θύρα:Πλήρης αμφίδρομη απόδοση με συνολική χωρητικότητα διακόπτη 16Tb/s χωρίς αποκλεισμό
• Προσαρμοστική δρομολόγηση (AR):Διανέμει δυναμικά την κυκλοφορία σε πολλαπλές διαδρομές για να αποφεύγει τα hotspots, κρίσιμα για την αποτελεσματικότητα του λιπαρού δέντρου
• SHARPv2 (Διαβασιλέστερο πρωτόκολλο ιεραρχικής συγκέντρωσης και μείωσης):Αποφορτίζει τις συλλογικές λειτουργίες (All-Reduce, Reduce-Scatter) απευθείας στο δίκτυο διακόπτη, μειώνοντας τον χρόνο αδρανούς λειτουργίας της GPU
• Ελέγχος συμφόρησης:Ο έλεγχος της ροής των λεπτών κόκκων με μηχανισμούς FECN/BECN εξασφαλίζει την απώλεια υφάσματος
• Υψηλή πυκνότητα λιμένων:40 θύρες QSFP56 ανά πλαίσιο 1U, απλοποιώντας τη διάταξη των ράκ και μειώνοντας την πολυπλοκότητα της καλωδίωσης μεταξύ των ράκ

Οι μηχανικοί μπορούν να αναφερθούν στοΔελτίο δεδομένων MQM8790-HS2FκαιΠροδιαγραφές MQM8790-HS2FΗ πλατφόρμα είναι επίσηςΣυμβατό με το MQM8790-HS2Fμε ένα ευρύ φάσμα οπτικών HDR, HDR100, ακόμη και EDR, επιτρέποντας σταδιακές αναβαθμίσεις.

Για ένα ισορροπημένο cluster τεχνητής νοημοσύνης 1.000 GPU συνιστάται η ακόλουθη ακολουθία ανάπτυξης:

• Βήμα 1 Διάταξη φύλλων:Εγκατάσταση 25xMQM8790-HS2FΣυνδέστε κάθε διακομιστή GPU (8 GPU ανά διακομιστή) μέσω δύο θύρων HDR σε δύο διαφορετικά φύλλα για εφεδρικότητα και εύρος ζώνης.
• Βήμα 2 Διάταξη της σπονδυλικής στήλης:Ανάπτυξη 8xNVIDIA Mellanox MQM8790-HS2FΣύνδεση κάθε φύλλου σε κάθε σπονδυλική στήλη χρησιμοποιώντας συνδέσεις 200Gb/s (40 ανοδικές συνδέσεις ανά φύλλο, αλλά συνήθως ένα υποσύνολο επαρκές για να διατηρηθεί αναλογία μπλοκάρισμα ≤1:1).
• Βήμα 3 ∆ιαθέτηση διαχειριστή υποδίκτυου:Εκτελέστε περιττές περιπτώσεις SM σε δύο ελαφρούς διακομιστές ή χρησιμοποιήστε το ενσωματωμένο SM για συστάδες κάτω από 2.000 θύρες.
• Βήμα 4 Διαχωρισμός:Χρησιμοποιήστε διαχωρισμούς InfiniBand για να απομονώσετε τις ροές κυκλοφορίας παραγωγής, ανάπτυξης και αποθήκευσης πάνω από τον ίδιο φυσικό ιστό.

Για επέκταση σε 2.500+ GPUs, προσθέστε ένα στρώμα super-spine χρησιμοποιώντας πρόσθετες μονάδες MQM8790-HS2F και αυξήστε την πυκνότητα uplink φύλλου-στη-σπονδυλικής στήλης.MQM8790-HS2F Λύση διακόπτη InfiniBandκλίμακες γραμμικά χωρίς να αναδιαρθρώνεται ο πυρήνας.

Ημερήσια λειτουργία ενός υφάσματος που είναι κατασκευασμένο σεMQM8790-HS2FΟι βασικές πρακτικές περιλαμβάνουν:

• Παρακολούθηση:Χρησιμοποιήστε το `ibdiagnet` για την επικύρωση τοπολογίας, το `perfquery` για τους μετρητές λιμένων και τα πίνακα ελέγχου Grafana με τους εξαγωγείς του Prometheus για τηλεμετρία σε πραγματικό χρόνο (χρησιμοποίηση συνδέσμων, σφάλματα συμβόλων, δείκτες συμφόρησης).
• Φερμγουέιρ και λογισμικό:Διατηρήστε σταθερό λογισμικό σε όλους τους διακόπτες.Δελτίο δεδομένων MQM8790-HS2Fγια την συμβατότητα εκδόσεων.
• Επεξεργασία προβλημάτων:Τα κοινά προβλήματα ‘link flapping, mismatched MTU, or partition misconfiguration’ απομονώνονται γρήγορα χρησιμοποιώντας ‘ibstatus`, ‘smpquery`, και switch syslog.
• Βελτιστοποίηση:Για την εκπαίδευση τεχνητής νοημοσύνης μεγάλης κλίμακας, ενεργοποιήστε το SHARP στις εφαρμοστέες βιβλιοθήκες MPI (π.χ. NCCL με plugin SHARP).

Κατά τον προγραμματισμό του προϋπολογισμού ή της επέκτασης, ζητήστετιμή MQM8790-HS2FΕλέγχουν την ποιότητα των προϊόντωνMQM8790-HS2F προς πώλησηΗ συμβατότητα της πλατφόρμας με την υφιστάμενη καλωδίωση QSFP56 μειώνει τον κίνδυνο προμήθειας.

ΗMQM8790-HS2Fδεν είναι απλά ένας διακόπτης ∙ είναι ένα βασικό δομικό στοιχείο για καθοριστικά υλικά HPC και τεχνητής νοημοσύνης χαμηλής καθυστέρησης. Ο συνδυασμός του HDR 200Gb/s, της πυκνότητας 40 θύρων, της προσαρμοστικής δρομολόγησης,και SHARP υπολογισμού στο δίκτυο απευθείας αντιμετωπίζει τα βασικά σημεία πόνου των σύγχρονων διασυνδέσεων συστάδωνΣε σύγκριση με τις εναλλακτικές λύσεις Ethernet 200G, το οικοσύστημα InfiniBand προσφέρει:

• Λιγότερες δαπάνες επεξεργασίας (αληθινή RDMA με αποφόρτιση μεταφοράς υλικού)
• Διοριστική καθυστέρηση σε κλίμακα μικροδευτερολέπτων υπό πραγματικό φορτίο
• Απλοποιημένη διαχείριση υλικού με κεντρικό διαχειριστή υποδίκτυου
• Αποδεδειγμένη επεκτασιμότητα σε δεκάδες χιλιάδες τελικά σημεία

Για τους οργανισμούς που κατασκευάζουν ή επεκτείνουν τα GPU clusters, η υιοθέτηση τουNVIDIA Mellanox MQM8790-HS2Fσημαίνει την επίτευξη υψηλότερων αποτελεσματικών FLOPS ανά δολάριο, τη μείωση του χρόνου ολοκλήρωσης των εργασιών και τη διασφάλιση της διασύνδεσης μελλοντικά για αναβαθμίσεις HDR200 επόμενης γενιάς (400Gb/s).Συμπεριλαμβανομένου του πλήρουςΠροδιαγραφές MQM8790-HS2Fκαι καλωδίων, είναι διαθέσιμα μέσω της δικτυακής πύλης συνεργατών της NVIDIA.