Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch σε παραγωγή

Ένα κορυφαίο ερευνητικό ινστιτούτο AI στην Ανατολική Ασία αντιμετώπισε ένα κοινό αλλά κρίσιμο σημείο συμφόρησης. Το σύμπλεγμα 512 GPU τους, που χρησιμοποιείται για την εκπαίδευση μεγάλων γλωσσικών μοντέλων και προσομοιώσεις μοριακής δυναμικής, υπέφερε από σοβαρή υποβάθμιση της απόδοσης καθώς οι εργασίες κλιμακώνονταν. Η ρίζα του προβλήματος ήταν το παλαιότερο δίκτυο Ethernet 100Gb/s, όπου το overhead του TCP/IP και η απώλεια πακέτων κατά τη διάρκεια συμβάντων incast προκαλούσαν χρόνους αδράνειας GPU έως και 35%. Η ομάδα χρειαζόταν ένα δίκτυο χωρίς απώλειες, εξαιρετικά χαμηλής καθυστέρησης, που θα μπορούσε να υποστηρίξει RDMA και να κλιμακωθεί σε χιλιάδες κόμβους χωρίς συμβιβασμούς στην ντετερμινιστική απόδοση. Μετά την αξιολόγηση πολλών λύσεων, επέλεξαν τον διακόπτη InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 ως τον πυρήνα της νέας αρχιτεκτονικής spine-leaf.

Η ανάπτυξη επικεντρώθηκε γύρω από τον 920-9B210-00FN-0D0 ως επίπεδο spine, με 32 διακόπτες leaf που συνδέουν 512 NVIDIA A100 GPU μέσω προσαρμογέων ConnectX-7. Κάθε 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR διακόπτης παρέχει 400Gb/s ανά θύρα, διπλασιάζοντας το εύρος ζώνης των προηγούμενων λύσεων HDR, διατηρώντας παράλληλα καθυστέρηση μεταγωγής κάτω του μικροδευτερολέπτου. Η επίσημη 920-9B210-00FN-0D0 InfiniBand switch OPN απλοποίησε την προμήθεια και διασφάλισε τη συνέπεια του firmware σε όλες τις μονάδες. Οι μηχανικοί δικτύων χρησιμοποίησαν το λεπτομερές 920-9B210-00FN-0D0 datasheet και τις 920-9B210-00FN-0D0 specifications για την επικύρωση των απαιτήσεων ισχύος και θερμικής διαχείρισης, επιτρέποντας την απρόσκοπτη ενσωμάτωση σε υπάρχοντα ράφια 19". Κρίσιμα, ο διακόπτης είναι πλήρως 920-9B210-00FN-0D0 compatible τόσο με την υπάρχουσα υποδομή HDR όσο και με νεότερες τερματικές μονάδες NDR, επιτρέποντας μια σταδιακή μετάβαση.

• Κέρδη Αποδοτικότητας RDMA: Με τον NVIDIA Mellanox 920-9B210-00FN-0D0 να επιτρέπει τον έλεγχο συμφόρησης βάσει υλικού, η καθυστέρηση εγγραφής RDMA μειώθηκε από 12μs σε 1,2μs. Το GPU direct RDMA (GDR) έγινε πλήρως αποτελεσματικό, εξαλείφοντας τα bottlenecks μνήμης της CPU.
• Επιτάχυνση Εφαρμογών HPC: Ένας βασικός κώδικας μοντελοποίησης καιρού (βασισμένος σε MPI) παρουσίασε βελτίωση απόδοσης 2,7 φορές λόγω της προσαρμοστικής δρομολόγησης του διακόπτη και των εκφορτώσεων συλλογικών λειτουργιών SHARP v2.
• Διακίνηση Εκπαίδευσης AI: Για μια εργασία εκπαίδευσης LLM με 175 δισεκατομμύρια παραμέτρους, το νέο δίκτυο μείωσε τον χρόνο all-reduce κατά 68%, βελτιώνοντας τη συνολική χρήση GPU από 62% σε 91%.
• Λειτουργική Απλότητα: Η 920-9B210-00FN-0D0 InfiniBand switch OPN solution ενσωματώθηκε με την πλατφόρμα UFM της NVIDIA, παρέχοντας τηλεμετρία σε πραγματικό χρόνο και ειδοποιήσεις προγνωστικής αστοχίας. Οι διαχειριστές IT ανέφεραν μείωση 50% στον χρόνο αντιμετώπισης προβλημάτων που σχετίζονται με το δίκτυο.

Κατά την αξιολόγηση του έργου, το ερευνητικό ινστιτούτο συνέκρινε το 920-9B210-00FN-0D0 price με ανταγωνιστικές λύσεις Ethernet. Παρά το υψηλότερο αρχικό κόστος, το συνολικό κόστος ιδιοκτησίας (TCO) ευνοούσε το InfiniBand λόγω της υψηλότερης χρήσης GPU και της χαμηλότερης κατανάλωσης ενέργειας ανά Gb/s. Οι μονάδες είναι άμεσα διαθέσιμες ως 920-9B210-00FN-0D0 for sale μέσω των καναλιών διανομής της NVIDIA, με χρόνους παράδοσης σημαντικά μικρότερους από άλλους διακόπτες NDR. Οι λεπτομερείς 920-9B210-00FN-0D0 specifications επιβεβαίωσαν επίσης την υποστήριξη για εφεδρικά τροφοδοτικά και ανεμιστήρες που αντικαθίστανται εν λειτουργία, καλύπτοντας τις απαιτήσεις αξιοπιστίας του ινστιτούτου για λειτουργίες έρευνας AI 24/7.

Το ερευνητικό ινστιτούτο AI έχει πλέον τυποποιήσει τον 920-9B210-00FN-0D0 για όλες τις μελλοντικές επεκτάσεις συμπλεγμάτων, συμπεριλαμβανομένου ενός προγραμματισμένου δικτύου NDR200 2.048 GPU. Αυτή η πραγματική περίπτωση δείχνει ότι ο NVIDIA Mellanox 920-9B210-00FN-0D0 δεν είναι απλώς ένας διακόπτης — είναι ένα θεμελιώδες στοιχείο για την επίτευξη γραμμικής κλιμάκωσης της απόδοσης σε περιβάλλοντα AI και HPC. Για αρχιτέκτονες και διαχειριστές IT που επιδιώκουν να εξαλείψουν τα bottlenecks δικτύωσης, η 920-9B210-00FN-0D0 InfiniBand switch OPN solution προσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή πορεία προς τα εμπρός.