NVIDIA Mellanox MQM9790-NS2F σε Δράση: Δημιουργία Υφής RDMA Χαμηλής Καθυστέρησης για Συμπλέγματα AI και HPC

NVIDIA Mellanox MQM9790-NS2F σε δράση: Κατασκευή ενός υλικού RDMA χαμηλής καθυστέρησης για AI και HPC Clusters

Προηγούμενο & Η πρόκληση: Όταν η κλιμάκωση γίνεται εμπόδιο

Καθώς τα μεγάλα γλωσσικά μοντέλα κλιμακώνονται από χιλιάδες σε δεκάδες χιλιάδες GPU, και οι προσομοιώσεις καιρού ωθούν προς την ανάλυση σε κλίμακα χιλιομέτρων,Οι περιορισμοί των παραδοσιακών υφασμάτων Ethernet γίνονται εμφανείςΣε αυτά τα περιβάλλοντα, τα πρότυπα συλλογικής επικοινωνίας MPI, όπως το all-reduce και το all-to-all, θέτουν ακραίες απαιτήσεις για την καθυστέρηση του δικτύου και τον έλεγχο της συμφόρησης.Ακόμη και οι πιο ισχυροί κόμβοι υπολογισμού περνούν ένα σημαντικό μέρος των κύκλων τους περιμένοντας δεδομένα, πράγματι σπαταλώντας ακριβούς πόρους GPU.

Αυτό είναι ακριβώς το πρόβλημα που αντιμετωπίζει ηNVIDIA Mellanox MQM9790-NS2FΩς διακόπτης 400Gb/s NDR InfiniBand με 64 θύρες OSFP, έχει σχεδιαστεί για να παρέχει καθοριστική καθυστέρηση υπομικροδευτερολέπτου σε χιλιάδες τερματικά σημεία,Επιτρέποντας την πραγματική γραμμική κλίμακα για κατανεμημένα φορτία εργασίας.

Λύση & Εφαρμογή: Ένα υφάστιο φυλλό-αστροειδούς που κατασκευάστηκε για το RDMA

Σε ένα τυπικό σενάριο ανάπτυξης για ένα μεγάλο εργαστήριο έρευνας AI, ηMQM9790-NS2F Διακόπτης InfiniBandστο στρώμα φύλλου, κάθε ράφι υπολογισμού είναι εξοπλισμένο με μία ή δύο μονάδες MQM9790-NS2F,παρέχοντας 64 θύρες 400Gb/s σύνδεσης με διακομιστές GPU μέσω καλωδίων χαλκού άμεσης σύνδεσης OSFP-OSFP ή ενεργών οπτικών καλωδίωνΣτο στρώμα της σπονδυλικής στήλης, πρόσθετοι διακόπτες MQM9790-NS2F διασυνδέουν τα φύλλα, δημιουργώντας ένα μη αποκλειστικό ύφασμα λιπαρού δέντρου με πλήρες εύρος ζώνης διχασμού.

What makes this solution particularly compelling is the switch's native support for RDMA over Converged Ethernet (RoCE) when operating in InfiniBand mode—though here it leverages InfiniBand's native RDMA capabilities for even lower latency and CPU offload. τοMQM9790-NS2F 400Gb/s NDR 64-port OSFPενσωματώνει την τεχνολογία SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) της NVIDIA, η οποία εκφορτώνει τις συλλογικές λειτουργίες απευθείας στο υλικό του διακόπτη.Αυτό σημαίνει ότι μια λειτουργία all-reduce που κανονικά θα διέσχιζε το δίκτυο πολλές φορές ολοκληρώνεται τώρα σε ένα μόνο πέρασμα., μειώνοντας τους χρόνους ολοκλήρωσης των εργασιών έως και κατά 30% για τα φορτία εργασίας που απαιτούν επικοινωνία.

Για τους αρχιτέκτονες δικτύων που αξιολογούν τηνMQM9790-NS2F Λύση διακόπτη InfiniBandΗ UFM παρέχει κεντρική ορατότητα στην υγεία του υλικού, την αυτοματοποιημένη ανακάλυψη τοπολογίας, την ευελιξία της τεχνολογίας και την ευελιξία της τεχνολογίας.και προληπτική παρακολούθηση της συμφόρησηςΟι πρώτοι χρήστες ανέφεραν ότι ηΣυμβατό με το MQM9790-NS2FΤο σύστημα, το οποίο περιλαμβάνει ένα ευρύ φάσμα καλωδίων και δέκτη που έχουν πιστοποιηθεί από την NVIDIA, απλουστεύει τις προμήθειες και μειώνει τον κίνδυνο ανάπτυξης.

Αποτελέσματα και μετρήσιμα κέρδη: Από τη θεωρία στην πραγματικότητα της παραγωγής

Σε μια πρόσφατη ανάπτυξη παραγωγής για ένα cluster 2.048-GPU αφιερωμένο στην εκπαίδευση μοντέλων μετασχηματιστών μεγάλης κλίμακας, η αναβάθμιση από HDR (200Gb/s) σε NDR (400Gb/s) υποδομήNVIDIA Mellanox MQM9790-NS2FΗ piροσέγγιση piου piροβλέpiεται αpiό την Εpiιτροpiή είναι η piροσέγγιση piου piροβλέpiεται αpiό την Εpiιτροpiή.

• Μείωση του χρόνου ολοκλήρωσης εργασίας:Οι επαναλήψεις εκπαίδευσης από άκρο σε άκρο για ένα μοντέλο 175B-παραμέτρων μειώθηκαν κατά 28%, κυρίως λόγω της εκφόρτωσης SHARPv3 και της μειωμένης καθυστέρησης ουράς.
• Χρήση δικτύου:Η μέση αξιοποίηση του υφάσματος αυξήθηκε από 62% σε 89% χωρίς να προκαλέσει κατάρρευση συμφόρησης, χάρη στους προηγμένους μηχανισμούς προσαρμοστικής δρομολόγησης και ελέγχου συμφόρησης του διακόπτη.
• Απλούστευση της λειτουργίας:Με 64 θύρες ανά διακόπτη, ο αριθμός των απαιτούμενων σπονδυλικών διακόπτες μειώθηκε κατά το ήμισυ σε σύγκριση με ένα σχεδιασμό HDR 32 θύρων, μειώνοντας σημαντικά την πολυπλοκότητα καλωδίωσης και την κατανάλωση ενέργειας ανά ράκι.

Σύμφωνα με τηνΠροδιαγραφές MQM9790-NS2F, ο διακόπτης παρέχει καθυστέρηση υπο-100ns από θύρα σε θύρα και υποστηρίζει έως και 51,2 Tb / s συνολικής χωρητικότητας διακόπτη, αριθμούς που ευθυγραμμίζονται στενά με τις επιδόσεις που παρατηρήθηκαν σε αυτή την ανάπτυξη.Οι μηχανικοί δικτύων σημείωσαν επίσης ότι ηΔελτίο δεδομένων MQM9790-NS2Fνα αντικατοπτρίζει με ακρίβεια τις πραγματικές επιδόσεις, χωρίς εκπλήξεις κατά τη φάση επικύρωσης.

Από την άποψη του TCO, η δυνατότητα ενοποίησης περισσότερων τελικών σημείων ανά επίπεδο διακόπτη μείωσε άμεσα τις κεφαλαιακές δαπάνες.Αξία MQM9790-NS2FΤο κόστος δικτύωσης ανά GPU μειώθηκε στην πραγματικότητα λόγω της υψηλότερης ακτίνας και του μειωμένου αριθμού στρωμάτων διακόπτη.σε συνδυασμό με τα κέρδη απόδοσης, έκανε την επιχειρηματική υπόθεση ξεκάθαρη για την διευθυντική επιτροπή του εργαστηρίου.

Σύνοψη & Προοπτικές: Το Ίδρυμα NDR για την Υπολογιστική Εξασκέλας

ΗNVIDIA Mellanox MQM9790-NS2FΗ τεχνολογία αυτή είναι κάτι περισσότερο από μια σταδιακή αναβάθμιση· αντιπροσωπεύει μια θεμελιώδη αλλαγή στον τρόπο με τον οποίο σχεδιάζονται τα clusters HPC και AI.και επιτάχυνση υπολογισμού στο δίκτυο σε έναν μόνο παράγοντα μορφής 1U, δίνει τη δυνατότητα στους αρχιτέκτονες να κατασκευάζουν υφάσματα που μπορούν να κλιμακωθούν σε δεκάδες χιλιάδες σημεία λήξης χωρίς να θυσιάζουν την απόδοση ή τη διαχειρίσιμη ικανότητα.

Το πρόβλημα είναι ότι οι εργασίες αυτές δεν μπορούν ναMQM9790-NS2F Διακόπτης InfiniBandθα χρησιμεύσει ως το θεμελιώδες δομικό στοιχείο για τα συστήματα επόμενης γενιάς exascale.Η συμβατότητα του με τις υπάρχουσες πλατφόρμες NVIDIA Quantum-2 και η απρόσκοπτη ολοκλήρωση με το UFM εξασφαλίζουν μια ομαλή μετακίνηση για οργανισμούς που αναβαθμίζουν από υφάσματα HDRΓια τους διαχειριστές πληροφορικής και τους αρχιτέκτονες που αξιολογούν τις επενδύσεις τους σε δίκτυα επόμενης γενιάς, το MQM9790-NS2F προσφέρει μια αποδεδειγμένη,έτοιμη για παραγωγή λύση που εκπληρώνει την υπόσχεση της βελτιστοποίησης διασύνδεσης RDMA χαμηλής καθυστέρησης.