Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in Action: Optimizing Low-Latency Interconnect

Στην εκπαίδευση τεχνητής νοημοσύνης σε πραγματικό κόσμο και στην ανάπτυξη υπολογιστών υψηλής απόδοσης, ο λανθάνοντας χρόνος δικτύου και η επιβάρυνση της CPU συχνά γίνονται σιωπηλοί δολοφόνοι της επεκτασιμότητας. Αυτή η σύντομη εφαρμογή εξετάζει τον τρόπο με τον οποίο ένας μεσαίου μεγέθους ερευνητικός οργανισμός αντιμετώπισε αυτές ακριβώς τις προκλήσεις με την ανάπτυξη τουMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Ο διακόπτης InfiniBand είναι ο βασικός ιστός για το ερευνητικό τους σύμπλεγμα που βασίζεται σε GPU.

Το παλαιού τύπου ύφασμα Ethernet RoCE 100 Gb/s του οργανισμού υπέφερε από απρόβλεπτη καθυστέρηση λόγω καταιγίδων PFC (Priority Flow Control) και αναποτελεσματικής διαχείρισης συμφόρησης. Καθώς τα μεγέθη των μοντέλων τεχνητής νοημοσύνης αυξήθηκαν από 10 δισεκατομμύρια σε πάνω από 50 δισεκατομμύρια παραμέτρους, οι λειτουργίες συλλογικής επικοινωνίας (Όλα-Μείωση, Όλα προς Όλους) κατανάλωναν σχεδόν το 45% του συνολικού χρόνου επανάληψης. Χρειάζονταν ένα ύφασμα χωρίς απώλειες, χαμηλής καθυστέρησης που θα μπορούσε να αξιοποιήσει πλήρως το RDMA διατηρώντας παράλληλα τη γραμμική κλιμάκωση της απόδοσης. Η αναζήτηση συνέκλινε γρήγορα στο920-9B110-00FH-0D0ως το πιο πολλά υποσχόμενο δομικό στοιχείο.

Η ομάδα επέλεξε το920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRμεταβείτε ως τη ραχοκοκαλιά του στρώματος σπονδυλικής στήλης, διασυνδέοντας 64 κόμβους GPU σε τέσσερα rack. Χρησιμοποιώντας το920-9B110-00FH-0D0 διακόπτης InfiniBand OPNπλαίσιο παραγγελιών, ανέπτυξαν δύο πλεονάζοντες διακόπτες σπονδυλικής στήλης με 40 θύρες HDR ο καθένας, επιτυγχάνοντας μια μη αποκλειστική αναλογία υπερσυνδρομής 1:1. Η ανάπτυξη αξιοποίησε την Adaptive Routing και το SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol) — χαρακτηριστικά που τεκμηριώνονται πλήρως στο920-9B110-00FH-0D0 φύλλο δεδομένων— για εκφόρτωση συλλογικών λειτουργιών απευθείας στο ύφασμα διακόπτη. Για τη συμβατότητα, η ομάδα επιβεβαίωσε ότι τοΣυμβατό με 920-9B110-00FH-0D0Το οικοσύστημα περιελάμβανε τους υπάρχοντες προσαρμογείς ConnectX-6 HDR και τα τυπικά οπτικά QSFP56.

Η τηλεμετρία μετά την ανάπτυξη αποκάλυψε δραματικές βελτιώσεις. Η λανθάνουσα κατάσταση από άκρο σε άκρο μεταξύ οποιωνδήποτε δύο κόμβων GPU μειώθηκε από 3,2µs (RoCE) σε λιγότερο από 1,1µs, με το jitter μειωμένο κατά 80%. SHARPv2 εκφόρτωση στοNVIDIA Mellanox 920-9B110-00FH-0D0μείωσε τον χρόνο ολοκλήρωσης του All-Reduce κατά 57% για εργασίες 512-GPU. Ο παρακάτω πίνακας συνοψίζει βασικές μετρήσεις:

Πέρα από τους ωμούς αριθμούς, το920-9B110-00FH-0D0 Λύση OPN διακόπτη InfiniBandμειωμένη λειτουργική πολυπλοκότητα. Χρησιμοποιώντας το NVIDIA UFM (Unified Fabric Manager), η ομάδα απέκτησε ορατότητα υφάσματος σε πραγματικό χρόνο, αυτοματοποιημένη βελτιστοποίηση διαδρομής και προληπτικές ειδοποιήσεις συμφόρησης — δυνατότητες που δεν ήταν διαθέσιμες στην προηγούμενη ανάπτυξη Ethernet. Ο920-9B110-00FH-0D0 προδιαγραφέςεπέτρεψε επίσης ενεργειακά αποδοτική λειτουργία: το πλαίσιο 1U κατανάλωνε μόνο 180 W με πλήρες φορτίο, μειώνοντας τη συνεισφορά τους σε PUE.

Για οργανισμούς που αξιολογούν παρόμοιες αναβαθμίσεις, το920-9B110-00FH-0D0 τιμήσυγκρίνεται ευνοϊκά με ισοδύναμους μεταγωγείς Ethernet 200 Gb/s όταν λαμβάνεται υπόψη το χαμηλότερο κόστος NIC και η εξάλειψη της ακριβής αδειοδότησης χωρίς απώλειες Ethernet. Τώρα απαριθμούνται πολλοί διανομείςΠωλείται 920-9B110-00FH-0D0με χρόνους παράδοσης κάτω των τεσσάρων εβδομάδων. Η ανάλυση απόδοσης επένδυσης (ROI) της ομάδας έδειξε μια περίοδο απόσβεσης 9 μηνών, καθαρά από βελτιώσεις χρήσης GPU.

Η ανάπτυξη επιβεβαίωσε ότι ηNVIDIA Mellanox 920-9B110-00FH-0D0ανταποκρίνεται στην υπόσχεσή του για λανθάνον χρόνο υπομικροδευτερολέπτων, πλήρες εύρος ζώνης δύο τμημάτων και εγγενή απόδοση RDMA. Για αρχιτέκτονες που σχεδιάζουν συμπλέγματα τεχνητής νοημοσύνης ή συστήματα HPC επόμενης γενιάς, αυτός ο διακόπτης αντιπροσωπεύει ένα αποδεδειγμένο, έτοιμο για παραγωγή δομικό στοιχείο. Καθώς ο φόρτος εργασίας συνεχίζει να κλιμακώνεται προς την κλίμακα exa, οι λύσεις δημιουργούνται γύρω από το920-9B110-00FH-0D0θα παραμείνει στην πρώτη γραμμή του σχεδιασμού διασύνδεσης υψηλής απόδοσης.