Εναλλαγή NVIDIA Mellanox MQM8790-HS2F InfiniBand σε παραγωγή | Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA/HPC/AI

Καθώς η εκπαίδευση μοντέλων μεγάλων γλωσσών και οι προσομοιώσεις HPC exascale οδηγούν τα συμπλέγματα GPU σε δεκάδες χιλιάδες κόμβους, τα παραδοσιακά υφάσματα Ethernet παλεύουν με τον λανθάνοντα χρόνο ουράς και τη συμφόρηση. Ένα εθνικό κέντρο υπολογιστών AI αντιμετώπισε πρόσφατα αυτήν την πρόκληση με την ανάπτυξη τουNVIDIA Mellanox MQM8790-HS2FΤο InfiniBand αλλάζει ως βασικός άξονας της επέκτασης GPU 800 κόμβων. Αυτό το άρθρο περιγράφει το ταξίδι τους στον πραγματικό κόσμο — από τα σημεία συμφόρησης έως τα μετρήσιμα κέρδη — χρησιμοποιώντας RDMA και υπολογιστές εντός δικτύου για τη βελτιστοποίηση της απόδοσης διασύνδεσης συμπλέγματος.

Ιστορικό & Πρόκληση: Όταν το δίκτυο γίνεται το σημείο συμφόρησης της τεχνητής νοημοσύνης

Το σύμπλεγμα 400 κόμβων παλαιού τύπου του κέντρου έτρεχε σε RoCEv2 Ethernet 100 Gb/s. Καθώς ο φόρτος εργασίας μετατοπίστηκε από τα μοντέλα CNN σε LLM τρισεκατομμυρίων παραμέτρων, η καθυστέρηση επικοινωνίας μεταξύ κόμβων εκτοξεύτηκε στα ύψη. Κατά τη διάρκεια των λειτουργιών All-Reduce, ο χρόνος αναμονής δικτύου κατανάλωσε πάνω από το 40% του συνολικού χρόνου επανάληψης. Οι αρχιτέκτονες χρειάζονταν μια πλατφόρμα που να παρέχει λανθάνοντα χρόνο κάτω από μικροδευτερόλεπτα, έλεγχο ροής χωρίς απώλειες και εγγενή υποστήριξη RDMA — όλα αυτά ενώ επαναχρησιμοποιούσαν τα υπάρχοντα οπτικά QSFP56. Μετά την αξιολόγηση πολλαπλών εναλλακτικών λύσεων, τοΔιακόπτης MQM8790-HS2F InfiniBandξεχώρισε με το εύρος ζώνης 200 Gb/s HDR και τη σχεδίαση υψηλής πυκνότητας 40 θυρών.

Λύση και ανάπτυξη: HDR Fat-Tree κατασκευασμένο σε MQM8790-HS2F

Η νέα διασύνδεση υιοθετεί μια τοπολογία λίπους δύο επιπέδων, αναπτύσσοντας 24 μονάδεςNVIDIA Mellanox MQM8790-HS2Fστα στρώματα του πυρήνα και των φύλλων. Κάθε μεταγωγέας παρέχει 40 θύρες QSFP56 που τρέχουν στα 200 Gb/s ανά κατεύθυνση, παρέχοντας χωρητικότητα μεταγωγής χωρίς αποκλεισμό 16 Tb/s. Οι μηχανικοί ακολούθησαν τοΦύλλο δεδομένων MQM8790-HS2FκαιΠροδιαγραφές MQM8790-HS2Fγια να ενεργοποιηθεί η προσαρμοστική δρομολόγηση και ο προηγμένος έλεγχος συμφόρησης. Κάθε κόμβος GPU συνδέεται μέσω προσαρμογέων HDR ConnectX‑6, αξιοποιώντας το εγγενές InfiniBand RDMA για μεταφορές δεδομένων μηδενικού αντιγράφου — εκφορτώνοντας πάνω από το 95% της συμμετοχής της CPU στην επικοινωνία.

Το κέντρο κράτησε επίσης αρκετάMQM8790-HS2F 200 Gb/s HDR 40 θύρας QSFP56μονάδες για μια in-situ ζώνη υπολογιστών. Με το SHARP (Scalable Hierarchical Aggregation and Reduction Protocol), συλλογικές λειτουργίες όπως το All-Reduce μεταφορτώνονται από τους διακομιστές απευθείας στο δίκτυο μεταγωγής. Στην εκπαίδευση 128-GPU, αυτό μείωσε τον χρόνο επικοινωνίας κατά 32% χωρίς καμία αλλαγή κώδικα στο πλαίσιο AI.

Αποτελέσματα & Κέρδη: Χαμηλότερη καθυστέρηση, υψηλότερη απόδοση, ελεγχόμενο TCO

Οι μετρήσεις μετά την ανάπτυξη έδειξαν δραματικές βελτιώσεις:

• Αναμονή από σημείο σε σημείο:Οι δοκιμές πινγκ πονγκ MPI μέτρησαν ~0,9μs σε συνδέσμους HDR 200Gb/s — 65% χαμηλότερες από την παλαιού τύπου ρύθμιση RoCE.
• Συλλογική αποτελεσματικότητα επικοινωνίας:Σε κλίμακα 512 GPU, το All-Reduce ολοκληρώθηκε σε μόλις 18,3 ms, μείωση 52% σε σύγκριση με την προηγούμενη γραμμή βάσης.
• Χρήση δικτύου:Η προσαρμοστική δρομολόγηση διατήρησε την εξισορρόπηση του φορτίου σύνδεσης πάνω από 92%, χωρίς σχεδόν καθόλου σημεία συμφόρησης.
• Προμήθειες και λειτουργίες:ΟΤιμή MQM8790-HS2Fανά θύρα ήταν περίπου 12% χαμηλότερη από τις ανταγωνιστικές λύσεις 200G. Εξάλλου,Συμβατό με MQM8790-HS2FΤα οπτικά είναι τυπικές μονάδες QSFP56, που επιτρέπουν την πλήρη επαναχρησιμοποίηση των υπαρχουσών καλωδίων.

«Αφού μετακόμισε στοΛύση διακόπτη MQM8790-HS2F InfiniBand, επιτύχαμε τελικά σχεδόν γραμμική κλιμάκωση (αποτελεσματικότητα 0,9) σε εκπαίδευση μοντέλων τρισεκατομμυρίων παραμέτρων", δήλωσε ο επικεφαλής αρχιτέκτονας του κέντρου. "Το δίκτυο δεν είναι πλέον το σημείο συμφόρησης - μπορούμε να επικεντρωθούμε στην καινοτομία αρχιτεκτονικής μοντέλων αντί στον προγραμματισμό επικοινωνίας."

Συμπέρασμα & Outlook: Core Building Block for Exascale Interconnects

Αυτή η πραγματική περίπτωση καταδεικνύει ότι τοMQM8790-HS2Fείναι πολύ περισσότερο από υψηλότερη πυκνότητα θύρας. Με 200 Gb/s HDR, εγγενές RDMA, υπολογισμό εντός δικτύου SHARP και προσαρμοστική δρομολόγηση, αντιμετωπίζει άμεσα σημεία πόνου διασύνδεσης χαμηλής καθυστέρησης στα σημερινά συμπλέγματα AI/HPC. Είτε σχεδιάζετε ένα πανεπιστημιακό κέντρο υπερυπολογιστών είτε αναβαθμίζετε ένα εταιρικό cloud AI, τοNVIDIA Mellanox MQM8790-HS2Fπροσφέρει μια ισορροπημένη διαδρομή που συνδυάζει απόδοση, συμβατότητα και προβλεψιμότητα κόστους. Ο διακόπτης βρίσκεται τώρα σε παραγωγή όγκου. Για λεπτομερείς αναφορές σχεδιασμού, ζητήστε από τον επίσημοΦύλλο δεδομένων MQM8790-HS2Fαπό την πύλη συνεργατών της NVIDIA. Για απόθεμα σε πραγματικό χρόνο ήΠωλείται MQM8790-HS2Fερωτήματα, επικοινωνήστε με εξουσιοδοτημένους παρόχους λύσεων για τιμολόγηση και τεχνική υποστήριξη.