NVIDIA Mellanox 920-9B210-00FN-0D0 στην πράξη: Δημιουργία ενός δικτύου NDR χαμηλής καθυστέρησης για μοντέλα MoE με τρισεκατομμύρια παραμέτρους

NVIDIA Mellanox 920-9B210-00FN-0D0 στην πράξη: Κατασκευή NDR Low-Latency Fabric για μοντέλα MoE τρισεκατομμυρίων παραμέτρων

Πίσω Χώρος & Η Δύσκολη Δύναμη: Όταν το "όλα σε όλους" γίνεται το μπουκάλιο της εκπαίδευσης

Ένας κορυφαίος ερευνητικός οργανισμός τεχνητής νοημοσύνης πρόσφατα κλιμάκωσε το μεγάλο ομίλο εκπαίδευσης μοντέλων γλωσσών από 1.024 σε 4.096 GPU NVIDIA H100, με φιλόδοξο στόχο τη μείωση του χρόνου εκπαίδευσης για ένα 1.8 τρισεκατομμυρίων παραμέτρων σπάνιου μοντέλου MoE (Mixture of Experts) από μήνες έως λιγότερο από δύο εβδομάδεςΩστόσο, κατά την αρχική επικύρωση, the team discovered that their existing 200Gb/s HDR network was experiencing severe congestion during the all-to-all communication phase—a characteristic pattern of MoE architectures—causing GPU utilization to plummet from an expected 85% to just 52%, πολύ κάτω από το κατώτατο όριο που απαιτείται για την εκπλήρωση της προθεσμίας κατάρτισης.

Η ανάλυση του δικτύου αποκάλυψε ότι η συλλογική επικοινωνία "όλα προς όλα" αντιπροσώπευε πάνω από το 40% του επικοινωνιακού αποτυπώματος του μοντέλου του Υπουργείου Επικοινωνιών.Το μοτίβο κυκλοφορίας έγινε όλο και πιο κατακερματισμένο και σπασμένο.Το υφιστάμενο δίκτυο HDR, μετά την ενεργοποίηση μηχανισμών ελέγχου συμφόρησης, παρουσίασε δραματική αύξηση της καθυστέρησης της ουράς, αφήνοντας ένα σημαντικό μέρος των GPU αδρανές και αναμένοντας.Η οργάνωση χρειαζόταν επειγόντως ένα δίκτυο που να μπορεί να παρέχει καθοριστική καθυστέρηση κάτω από το μικρότερο δευτερόλεπτο., χωρίς απώλειες μεταφοράς, και τεράστια μη αποκλειστική επεκτασιμότηταNVIDIA Mellanox 920-9B210-00FN-0D0Η εταιρεία είναι ειδικά σχεδιασμένη για αυτή ακριβώς την πρόκληση.

Λύση & Εφαρμογή: Μια βελτιστοποιημένη από το MoE αρχιτεκτονική NDR Leaf-Spine

Η οργάνωση χρησιμοποίησε ένα διπλό στρώμα υφάσματος φύλλων-οστραγγίου που χτίστηκε γύρω από το920-9B210-00FN-0D0 InfiniBand διακόπτης OPNΣε κάθε ράφι υπολογιστών, δύο920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΟι διακόπτες αναπτύχθηκαν στο στρώμα φύλλου, παρέχοντας συνδεσιμότητα 400Gb / s σε 64 διακομιστές H100 διπλής θύρας μέσω ενεργών οπτικών καλωδίων OSFP-OSFP.16 επιπλέον διακόπτες 920-9B210-00FN-0D0 διασυνδεδεμένοι όλοι οι διακόπτες φύλλων, δημιουργώντας ένα πλήρως μη αποκλειστικό ύφασμα λιπαρού δέντρου με συνολικό εύρος ζώνης διχασμού 51,2 Tb/s.

Το κεντρικό κομμάτι αυτής της λύσης είναι η ενσωματωμένη τεχνολογία SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) του διακόπτη.Η επικοινωνία "όλα προς όλα" μεταφέρθηκε απευθείας στο υλικό του διακόπτη., με τους διακόπτες να εκτελούν τη μείωση και αναδιανομή δεδομένων στο δίκτυο.μειώνοντας δραματικά τα έξοδα επικοινωνίας που είχαν επηρεάσει την προηγούμενη ανάπτυξη HDR. τοΠίνακας δεδομένων 920-9B210-00FN-0D0τονίζει την υπο-100ns καθυστέρηση διακοπής, η οποία επικυρώθηκε κατά τη διάρκεια της φάσης απόδειξης της έννοιας και αποδείχθηκε κρίσιμη για τις αυστηρές απαιτήσεις καθυστέρησης του φόρτου εργασίας του Υπουργείου Εργασίας.

Η920-9B210-00FN-0D0 προδιαγραφές∆εύτερον, η εpiιλογή των εpiιχειρηατικών εpiιχειρηατικών piροϊόντων piου piαρέχουν αpiό τη νέα τεχνολογία piροσέγγιση των εpiιχειρηατικών εpiιχειρηατικών piροϊόντων.920-9B210-00FN-0D0 συμβατόΤο οικοσύστημα περιελάμβανε όλες τις οπτικές και τα καλώδια OSFP που είχαν ήδη πιστοποιηθεί, εξαλείφοντας καθυστερήσεις προμηθειών και απλοποιώντας το χρονοδιάγραμμα ανάπτυξης.

Αποτελέσματα και μετρήσιμα κέρδη: Από το "φραγμό" στο "ενισχυτικό"

Μετά την πλήρη ανάπτυξη του υλικού NDR και την επανέναρξη της εκπαιδευτικής εργασίας του Υπουργείου Εξωτερικών, ο οργανισμός μέτρησε τις μετασχηματιστικές βελτιώσεις σε πολλαπλές διαστάσεις:

• Αποκατάσταση χρήσης GPU:Η μέση αξιοποίηση της GPU αυξήθηκε από 52% σε 89%, με τη μέγιστη αξιοποίηση να φτάνει το 94% κατά τη διάρκεια των φάσεων υψηλής έντασης υπολογιστών, ένα άμεσο αποτέλεσμα της εξάλειψης των σταθμών που προκαλούνται από το δίκτυο.
• Μείωση της καθυστέρησης "όλα προς όλα":Ο χρόνος που απαιτείται για μια πλήρη ανταλλαγή από όλα σε 4.096 GPU μειώθηκε από 180ms σε λιγότερο από 45ms, βελτίωση 75% που μεταφράστηκε άμεσα σε ταχύτερες επαναλήψεις εκπαίδευσης.
• Χρόνος ολοκλήρωσης της εργασίας:Το προγραμματισμένο χρονοδιάγραμμα κατάρτισης για το μοντέλο MoE 1.8T μειώθηκε από 14 ημέρες σε μόλις 9 ημέρες, με επιτάχυνση 36% που μείωσε σημαντικά τόσο το χρόνο κυκλοφορίας στην αγορά όσο και το κόστος υπολογιστών cloud.
• Επιχειρησιακή αποδοτικότητα:Με 64 θύρες ανά διακόπτη, ο αριθμός των απαιτούμενων σπονδυλικών διακόπτες μειώθηκε κατά 37% σε σύγκριση με ένα σχεδιασμό HDR 40 θύρων, απλοποιώντας την καλωδίωση και μειώνοντας την κατανάλωση ενέργειας ανά ράκετ κατά 28%.

Από την άποψη του συνολικού κόστους ιδιοκτησίας, η χρηματοοικονομική ομάδα του οργανισμού σημείωσε ότι ενώ920-9B210-00FN-0D0 τιμήΤο κόστος δικτύωσης ανά GPU μειώθηκε στην πραγματικότητα λόγω της υψηλότερης ακτίνας και του μειωμένου αριθμού των στρωμάτων διακόπτη.σε συνδυασμό με τα δραματικά κέρδη απόδοσης, έκανε την αναβάθμιση της NDR σαφή επιχειρηματική νίκη.920-9B210-00FN-0D0 Λύση InfiniBand switch OPNΕπίσης, ενσωματώθηκε απρόσκοπτα με την υπάρχουσα ανάπτυξη NVIDIA UFM, παρέχοντας κεντρική ορατότητα και αυτοματοποιημένη ειδοποίηση που μείωσε το λειτουργικό κόστος κατά 40%.

Σύνοψη & Προοπτικές: Το Ίδρυμα NDR για το επόμενο γενιάς φορτίων εργασίας του Υπουργείου Εσωτερικών

ΗNVIDIA Mellanox 920-9B210-00FN-0D0Αποδείχθηκε η μετασχηματιστική λύση που χρειαζόταν αυτή η ερευνητική οργάνωση για την τεχνητή νοημοσύνη για να απελευθερώσει το πλήρες δυναμικό του ομίλου H100 4.096-GPU.και SHARPv3 υπολογιστών στο δίκτυο, η αλλαγή τους επέτρεψε να κλιμακωθούν από 1.024 σε 4.096 GPUs χωρίς να διακυβεύονται οι επιδόσεις ή η διαχειρίσιμη ικανότητα - ένα κατόρθωμα που θα ήταν αδύνατο με την προηγούμενη υποδομή HDR.

Κοιτάζοντας στο μέλλον, ο οργανισμός σχεδιάζει να επεκταθεί σε 8.192 GPUs μέσα στους επόμενους 18 μήνες, αξιοποιώντας την920-9B210-00FN-0D0 προς πώλησηΓια τους οργανισμούς που αξιολογούν τις επενδύσεις της επόμενης γενιάς AI και HPC δικτύων,Το 920-9B210-00FN-0D0 προσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή λύση η οποία εκπληρώνει την υπόσχεση της βελτιστοποίησης διασύνδεσης RDMA χαμηλής καθυστέρησης σε έκταση.