Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Τεχνική λύση

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Τεχνική λύση – Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για συμπλέγματα RDMA/HPC/AI

Αυτή η τεχνική λευκή βίβλος παρουσιάζει μια ολοκληρωμένη αρχιτεκτονική λύσης με επίκεντρο τοMellanox (NVIDIA Mellanox) MQM9790-NS2FΔιακόπτης InfiniBand. Απευθύνεται σε αρχιτέκτονες δικτύων, μηχανικούς προπώλησης και επιχειρησιακούς πελάτες, το έγγραφο περιγράφει λεπτομερώς τον τρόποMQM9790-NS2Fπαρέχει ντετερμινιστικό εξαιρετικά χαμηλό λανθάνοντα χρόνο, RDMA χωρίς απώλειες και επεκτάσιμο εύρος ζώνης για υποδομές HPC και AI επόμενης γενιάς. Καλύπτουμε αρχές σχεδιασμού, τοπολογίες ανάπτυξης, βέλτιστες λειτουργικές πρακτικές και επικύρωση απόδοσης.

1. Ανάλυση Ιστορικού & Απαιτήσεων Έργου

Η σύγχρονη εκπαίδευση τεχνητής νοημοσύνης και ο φόρτος εργασίας επιστημονικής προσομοίωσης απαιτούν υφάσματα δικτύου που μπορούν να διατηρήσουν μαζικά μοτίβα επικοινωνίας όλων των μειώνοντας, συγκεντρώνοντας και από σημείο σε σημείο με τρεμόπαιγμα μικρότερου δευτερολέπτου. Οι παραδοσιακές λύσεις που βασίζονται σε Ethernet, ακόμη και με το RoCEv2, εισάγουν πολυπλοκότητα στη διαχείριση συμφόρησης, τον συντονισμό PFC και τον έλεγχο τελικής καθυστέρησης, οδηγώντας συχνά σε αναποτελεσματική χρήση της GPU και απρόβλεπτους χρόνους ολοκλήρωσης εργασίας.

Οι βασικές απαιτήσεις που προσδιορίζονται σε τυπικά έργα HPC/AI περιλαμβάνουν:

• Λάθος από άκρο σε άκρο < 1 μs (μετάβαση από θύρα σε θύρα) υπό πλήρες φορτίο
• Ύφασμα χωρίς απώλειες με μηδενικές πτώσεις πακέτων λόγω συμφόρησης
• Επεκτασιμότητα από 64 σε πάνω από 2.000 κόμβους GPU χωρίς αρχιτεκτονικές αλλαγές
• Απλοποιημένες λειτουργίες με πλούσια τηλεμετρία και αυτοματοποιημένη ανάκτηση σφαλμάτων

ΟNVIDIA Mellanox MQM9790-NS2Fαντιμετωπίζει άμεσα αυτές τις απαιτήσεις ενσωματώνοντας την τεχνολογία NDR 400 Gb/s, την προσαρμοστική δρομολόγηση και τον υπολογισμό εντός δικτύου σε μια πλατφόρμα OSFP 1U, 64 θυρών.

2. Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύων / Συστήματος

Η συνιστώμενη αρχιτεκτονική υιοθετεί μια τοπολογία δύο επιπέδων φύλλου-ράχης (ή λιποδένδρου) για να παρέχει πλήρες εύρος ζώνης διχοτόμησης και υψηλή ανθεκτικότητα. Κάθε μπλοκ φύλλων περιλαμβάνει πολλαπλά ράφια, με κάθε ράφι να περιέχει δύοΔιακόπτες MQM9790-NS2F InfiniBandγια απολύσεις. Το στρώμα της σπονδυλικής στήλης συγκεντρώνει την κυκλοφορία από όλους τους διακόπτες φύλλων, διασφαλίζοντας την επικοινωνία μεταξύ δύο οποιωνδήποτε τελικών σημείων χωρίς αποκλεισμό.

ΟMQM9790-NS2F 400 Gb/s NDR 64 θύρας OSFPΟ διακόπτης χρησιμεύει και ως φύλλο και ως ράχη, προσφέροντας ομοιόμορφο υλικό σε όλο το ύφασμα – απλοποιώντας τη φειδώ και τη συντήρηση. Για ένα σύμπλεγμα 1.024 GPU, ένας τυπικός σχεδιασμός χρησιμοποιεί 16 διακόπτες φύλλων (ο καθένας συνδέει 64 GPU) και 8 διακόπτες σπονδυλικής στήλης, όλοι διασυνδεδεμένοι μέσω οπτικών καλωδίων 400G ή καλωδίων DAC. Το ύφασμα υποστηρίζει τόσο τοπολογίες fat-tree όσο και Dragonfly+, με προσαρμοστική δρομολόγηση που εξισορροπεί δυναμικά την κυκλοφορία σε πολλά μονοπάτια.

3. Ρόλος & Βασικά Χαρακτηριστικά τουMellanox (NVIDIA Mellanox) MQM9790-NS2Fστη Λύση

ΟNVIDIA Mellanox MQM9790-NS2Fείναι ο ακρογωνιαίος λίθος αυτής της λύσης, παρέχοντας:

• 64 θύρες OSFPτο καθένα λειτουργεί στα 400 Gb/s (NDR) – συνολική ικανότητα μεταγωγής 25,6 Tb/s, με καθυστέρηση διακοπής κάτω από 600 ns.
• Προσαρμοστική δρομολόγηση– επιλέγει δυναμικά τη διαδρομή με τη μικρότερη συμφόρηση ανά πακέτο, αποφεύγοντας συνδέσμους hotspot και διατηρώντας σταθερή καθυστέρηση ακόμη και κάτω από ασύμμετρα μοτίβα κυκλοφορίας.
• SHARPv3 (Πρωτόκολλο κλιμακούμενης ιεραρχικής συγκέντρωσης και μείωσης)– εκφορτώνει τη συλλογική επικοινωνία (όλα-μείωση, εκπομπή) από τους κεντρικούς επεξεργαστές, μειώνοντας τη συνομιλία δικτύου και επιταχύνοντας την εκπαίδευση τεχνητής νοημοσύνης έως και 20–30%.
• Υπολογισμός εντός δικτύου– υποστηρίζει τη μείωση δεδομένων, την τμηματοποίηση, ακόμη και τις λειτουργίες MPI μικρής κλίμακας απευθείας στον διακόπτη, απελευθερώνοντας πολύτιμους πόρους GPU για υπολογισμούς.
• Τηλεμετρία & Διαχείριση Συμφόρησης– ενσωματωμένη προηγμένη παρακολούθηση που περιλαμβάνει μετρητές ανά ροή, ιστογράμματα κατάληψης buffer και μετρήσεις λανθάνοντος χρόνου σε επίπεδο διαδρομής, όλα εξαγόμενα μέσω UFM ή REST API.

Αυτές οι δυνατότητες επιτρέπουν τηνΛύση διακόπτη MQM9790-NS2F InfiniBandνα παρέχει καθοριστική απόδοση σε κλίμακα, όπως επικυρώνεται από εσωτερικά σημεία αναφοράς και αναπτύξεις πελατών. ΟΠροδιαγραφές MQM9790-NS2Fπεριλαμβάνει επίσης υποστήριξη τόσο για παθητικούς χάλκινους DAC όσο και για ενεργές οπτικές μονάδες, παρέχοντας ευελιξία για αποστάσεις έως 100 m (με οπτικά 400G SR4) και πέρα.

4. Συστάσεις ανάπτυξης και κλιμάκωσης (Τυπική τοπολογία)

Για μια ανάπτυξη Greenfield, συνιστούμε την ακόλουθη σταδιακή προσέγγιση:

• Φάση 1 – Πιλοτικό:Ανοίξτε 2 διακόπτες φύλλων (ο καθέναςMQM9790-NS2F) και 2 διακόπτες σπονδυλικής στήλης, που συνδέουν 128 GPU. Επικύρωση απόδοσης έναντι τουΦύλλο δεδομένων MQM9790-NS2Fπαραμέτρους.
• Φάση 2 – Κλιμάκωση:Προσθέστε διακόπτες φύλλων σε βήματα των 2 ανά ράφι και διακόπτες ράχης όπως απαιτείται για να διατηρήσετε την υπερσυνδρομή ≤ 1:1. Η πυκνότητα 64 θυρών επιτρέπει σε έναν μεμονωμένο διακόπτη να φιλοξενεί ένα πλήρες rack 64 κόμβων GPU (αν κάθε κόμβος έχει μία μόνο ανερχόμενη ζεύξη 400G).
• Φάση 3 – Πολυεπίπεδο:Για συμπλέγματα που υπερβαίνουν τους 2.000 κόμβους, εφαρμόστε πολλαπλά ανεξάρτητα υφάσματα (π.χ. επίπεδα 2× ή 4×) με εξισορρόπηση φορτίου βάσει διαδρομής, αξιοποιώντας την υποστήριξη του διακόπτη για εικονικές λωρίδες και κλειδιά διαμερισμάτων.

Η τυπική καλωδίωση χρησιμοποιεί DAC OSFP-to-OSFP για συνδέσεις εντός rack (≤3 m) και οπτικές μονάδες OSFP-to-400G SR4 για αποστάσεις φύλλων ράχης έως και 100 m. ΟΣυμβατό με MQM9790-NS2FΟι πομποδέκτες είναι επικυρωμένοι με το οπτικό οικοσύστημα προμηθευτή της NVIDIA, διασφαλίζοντας απρόσκοπτη διαλειτουργικότητα.

5. Λειτουργίες, Παρακολούθηση, Διάγνωση Βλαβών & Βελτιστοποίηση

Οι αποτελεσματικές λειτουργίες είναι κρίσιμες για τη διατήρηση χαμηλής καθυστέρησης στην παραγωγή. Η λύση ενσωματώνεται μεNVIDIA UFM (Unified Fabric Manager), το οποίο παρέχει:

• Πίνακας ελέγχου σε πραγματικό χρόνο– Εύρος ζώνης ανά θύρα, μετρητές σφαλμάτων και χάρτες θερμότητας συμφόρησης.
• Αυτοματοποιημένη εκ νέου βελτιστοποίηση διαδρομής– όταν μια σύνδεση υποβαθμίζεται ή αποτυγχάνει, το UFM υπολογίζει εκ νέου τις διαδρομές και επαναδιαμορφώνει τους προσαρμοστικούς πίνακες δρομολόγησης χωρίς παρέμβαση χειριστή.
• Ιστορική τηλεμετρία– αποθηκεύει δεδομένα λανθάνοντος χρόνου και ροής για μεταθανάτια ανάλυση και προγραμματισμό χωρητικότητας.

Προτεινόμενη ροή εργασιών αντιμετώπισης προβλημάτων:

1. Παρακολούθηση πλαισίων παύσης και απορρίψεων ανά θύρα – αναμένεται μηδενική απόρριψη. τυχόν απορρίψεις υποδεικνύουν εσφαλμένη διαμόρφωση ή ελαττωματικά οπτικά.
2. Επικυρώστε τη λειτουργία SHARPv3 μέσω των συλλογικών στατιστικών του UFM – βεβαιωθείτε ότι οι λειτουργίες μείωσης έχουν εκφορτωθεί.
3. Χρησιμοποιήστε ενσωματωμένα διαγνωστικά εργαλεία (π.χ.ibdiagnet,ibstatus) για να ελέγξετε την ακεραιότητα του συνδέσμου και την ακεραιότητα του σήματος.

Για βελτιστοποίηση, προσαρμόστε το όριο του προσαρμοστικού αλγορίθμου δρομολόγησης (π.χ., διάστημα ανίχνευσης φορτίου) βάσει μοτίβων φόρτου εργασίας – τοΔιακόπτης MQM9790-NS2F InfiniBandεπιτρέπει τη λεπτομέρεια μέσω διεπαφών διαχείρισης. Οι τακτικές ενημερώσεις υλικολογισμικού (διαθέσιμες μέσω της πύλης υποστήριξης της NVIDIA) περιλαμβάνουν βελτιώσεις απόδοσης και ενημερώσεις κώδικα ασφαλείας.

6. Περίληψη & Εκτίμηση Αξίας

ΟMellanox (NVIDIA Mellanox) MQM9790-NS2Fπροσφέρει μια μελλοντική βάση, υψηλής απόδοσης για συμπλέγματα RDMA/HPC/AI. Συνδυάζοντας την ταχύτητα NDR 400 Gb/s, την πυκνότητα 64 θυρών και τον έξυπνο υπολογισμό εντός δικτύου, εξαλείφει τα παραδοσιακά σημεία συμφόρησης και παρέχει γραμμική επεκτασιμότητα μέχρι την κατηγορία exascale. Η λύση μειώνει το συνολικό κόστος ιδιοκτησίας μέσω χαμηλότερης ισχύος ανά θύρα (≈1,5 W), απλοποιημένης καλωδίωσης και μειωμένης επιβάρυνσης της CPU από τις εκφορτώσεις SHARP.

Για οργανισμούς που αξιολογούν τοΤιμή MQM9790-NS2F, η επένδυση δικαιολογείται από μετρήσιμα κέρδη στη χρήση GPU (συχνά που ξεπερνούν το 90% στην παραγωγή) και έως και 40% μείωση στους χρόνους ολοκλήρωσης εργασίας σε σύγκριση με τα υφάσματα RoCEv2. ΟΦύλλο δεδομένων MQM9790-NS2FκαιΠροδιαγραφές MQM9790-NS2Fπαρέχετε αναλυτικές λεπτομέρειες και οι μονάδες είναι άμεσα διαθέσιμες (Πωλείται MQM9790-NS2Fμέσω εξουσιοδοτημένων καναλιών). Επιπλέον, η συμβατότητα του διακόπτη με τους υπάρχοντες προσαρμογείς NVIDIA διασφαλίζει μια ομαλή διαδρομή μετεγκατάστασης για χρήστες που έχουν ήδη επενδύσει στο οικοσύστημα Mellanox.

Συνοπτικά, αυτή η τεχνική λύση που βασίζεται στοΔιακόπτης MQM9790-NS2F InfiniBandπαρέχει ένα στιβαρό, λειτουργικά αποδοτικό ύφασμα που ικανοποιεί τις πιο απαιτητικές απαιτήσεις διασύνδεσης χαμηλής καθυστέρησης – ακρογωνιαίος λίθος για την επόμενη γενιά υπερυπολογιστών AI.