NVIDIA Mellanox MQM8790-HS2F Τεχνικό Λευκό Βιβλίο για το InfiniBand Switch

Τεχνική Λευκή Βίβλος NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch: Optimizing Low-Latency Interconnect for RDMA/HPC/AI Cluster

Αυτή η τεχνική λευκή βίβλος προορίζεται για αρχιτέκτονες δικτύου, μηχανικούς προπωλήσεων και διευθυντές λειτουργιών. Επικεντρώνεται στοNVIDIA Mellanox MQM8790-HS2FΔιακόπτης HDR InfiniBand 200 Gb/s, που παρέχει μια ολοκληρωμένη σχεδίαση λύσης για βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης σε συμπλέγματα υπολογιστών υψηλής απόδοσης (HPC) και τεχνητής νοημοσύνης (AI) με επιτάχυνση RDMA. Το έγγραφο καλύπτει τον σχεδιασμό της αρχιτεκτονικής, τις βασικές τεχνολογίες, τις στρατηγικές ανάπτυξης και κλιμάκωσης, την παρακολούθηση λειτουργιών και την αξιολόγηση αξίας, προσφέροντας ένα αναπαραγώγιμο σχέδιο για υπολογιστική υποδομή με ένταση δεδομένων επόμενης γενιάς.

1. Ανάλυση ιστορικού και απαιτήσεων έργου

Καθώς οι παράμετροι του μοντέλου τεχνητής νοημοσύνης φτάνουν σε τρισεκατομμύρια μεγέθη και οι προσομοιώσεις HPC απαιτούν ολοένα καλύτερη ανάλυση, ο υποκείμενος ιστός δικτύου έχει εξελιχθεί από υποστηρικτικό στοιχείο σε πρωτεύοντα καθοριστικό παράγοντα απόδοσης. Οι κατανεμημένες εργασίες κατάρτισης, για παράδειγμα, μπορούν να δαπανήσουν το 40-60% του χρόνου εκτέλεσης τους σε λειτουργίες συλλογικής επικοινωνίας, εάν η διασύνδεση δεν διαθέτει επαρκές εύρος ζώνης και χαρακτηριστικά καθυστέρησης. Για τις εταιρικές ομάδες πληροφορικής, αυτό μεταφράζεται απευθείας σε εκτεταμένο χρόνο για την αγορά πρωτοβουλιών τεχνητής νοημοσύνης και υποχρησιμοποιούμενες επενδύσεις GPU.

Οι βασικές απαιτήσεις που προσδιορίζονται μέσω εκτεταμένων δεσμεύσεων πελατών περιλαμβάνουν:

• Εξαιρετικά χαμηλή και προβλέψιμη καθυστέρηση:Sub-200ns cut-through switching για κίνηση MPI και RDMA, με ελάχιστο jitter υπό αμφισβήτηση.
• Διακίνηση χωρίς αποκλεισμό:Παρατεταμένη απόδοση ρυθμού γραμμής σε όλες τις θύρες ταυτόχρονα, εξαλείφοντας το σχηματισμό hotspot και την υποβάθμιση του λανθάνοντος χρόνου ουράς.
• Υπολογισμός εντός δικτύου:Επιτάχυνση υλικού για συλλογικές λειτουργίες (ολόκληρη μείωση, εκπομπή, εμπόδιο) για εκφόρτωση των CPU κεντρικών υπολογιστών και μείωση της κίνησης δεδομένων.
• Υποστήριξη κλιμακούμενης τοπολογίας:Δυνατότητα δημιουργίας τοπολογιών παχύ δέντρο, torus ή dragonfly+ που καλύπτουν εκατοντάδες έως χιλιάδες κόμβους χωρίς υπερβολικά στρώματα διακόπτη.
• Απλοποιημένη διαχείριση:Ενοποιημένη παρακολούθηση υφάσματος, αυτοματοποιημένη ανακάλυψη τοπολογίας και προληπτική ανίχνευση σφαλμάτων για μείωση των λειτουργικών εξόδων.

ΟMQM8790-HS2Fεπιλέχθηκε ως το βέλτιστο δομικό στοιχείο για αυτήν την αρχιτεκτονική λύσης, με την προκαταρκτική τηςΦύλλο δεδομένων MQM8790-HS2Fεπιβεβαίωση 40 θυρών HDR 200 Gb/s, καθυστέρηση διακοπής έως 130 ns και υποστήριξη για υπολογιστές εντός δικτύου SHARP v3.0—δυνατότητες που αντιστοιχούν απευθείας στις παραπάνω απαιτήσεις.

2. Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύων / Συστήματος

Η προτεινόμενη αρχιτεκτονική χρησιμοποιεί μια τοπολογία λίπους-δέντρου φύλλου-σπονδυλικής στήλης δύο επιπέδων για συστάδες έως 1.200 κόμβους, με δυνατότητα επέκτασης σε τρία επίπεδα για μεγαλύτερες αναπτύξεις. Αυτή η τοπολογία εξισορροπεί την απόδοση, το κόστος και τη διαχειρισιμότητα, παρέχοντας πλήρες εύρος ζώνης διχοτόμησης και ντετερμινιστική καθυστέρηση σε όλο το ύφασμα.

Κάθε διακόπτης φύλλου συνδέει έως και 16 υπολογιστικούς κόμβους μέσω προσαρμογέων καναλιών κεντρικού καναλιού NVIDIA ConnectX-6 ή ConnectX-7 HDR, χρησιμοποιώντας τοΣυμβατό με MQM8790-HS2Fοπτικό οικοσύστημα—συμπεριλαμβανομένων ενεργών οπτικών καλωδίων (AOC) και παθητικών χάλκινων DAC, ανάλογα με την απόσταση ζεύξης. ΟMQM8790-HS2F 200 Gb/s HDR 40 θύρας QSFP56Ο σχεδιασμός παρέχει άφθονη πυκνότητα για συσσωμάτωση σε επίπεδο rack, διατηρώντας παράλληλα έναν παράγοντα μορφής 1U για αποτελεσματική χρήση του χώρου ραφιών.

Για συστάδες άνω των 1.200 κόμβων, συνιστάται μια τοπολογία τριών επιπέδων με ένα επιπλέον στρώμα υπερ-σπονδυλικής στήλης. Σε αυτή τη διαμόρφωση, τοΛύση διακόπτη MQM8790-HS2F InfiniBandδιατηρεί τον ρόλο του σε όλες τις βαθμίδες, απλοποιώντας τη διαχείριση της οικονομίας και της διαμόρφωσης — ένας μόνο τύπος διακόπτη υποστηρίζει ολόκληρο το ύφασμα, από την άκρη μέχρι τον πυρήνα.

3. Ρόλος και βασικά χαρακτηριστικά του NVIDIA Mellanox MQM8790-HS2F

ΟNVIDIA Mellanox MQM8790-HS2Fχρησιμεύει ως το θεμελιώδες στοιχείο μεταγωγής σε αυτήν την αρχιτεκτονική, παρέχοντας τις ακόλουθες διαφοροποιητικές δυνατότητες που οδηγούν άμεσα στη βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης:

• Ταχύτητα θύρας HDR 200 Gb/s:Διπλασιάζει το εύρος ζώνης της προηγούμενης γενιάς EDR (100Gb/s) ενώ διατηρεί συμβατότητα με το HDR100 (100Gb/s) για περιβάλλοντα μικτής ταχύτητας, προστατεύοντας προηγούμενες επενδύσεις.
• Εναλλαγή αποκοπής με καθυστέρηση κάτω των 130ns:Ελαχιστοποιεί τον χρόνο που δαπανούν τα πακέτα εντός του μεταγωγέα, κρίσιμος για λειτουργίες RDMA ευαίσθητες σε καθυστέρηση και συλλογικά μοτίβα επικοινωνίας.
• Υπολογισμός εντός δικτύου SHARP v3.0:Εκφορτώνει λειτουργίες μείωσης από τους κεντρικούς επεξεργαστές στο ύφασμα μεταγωγής, μειώνοντας την κυκλοφορία δεδομένων έως και 30% και επιταχύνοντας τη συνολική μείωση της απόδοσης για εκπαίδευση τεχνητής νοημοσύνης έως και 2 φορές.
• Προσαρμοστικός έλεγχος δρομολόγησης και συμφόρησης:Κατανέμει δυναμικά την κυκλοφορία σε πολλαπλές διαδρομές για την αποφυγή hotspot, με σημαίες συμφόρησης και έλεγχο ροής βάσει πιστώσεων που διασφαλίζουν λειτουργία χωρίς απώλειες—προαπαιτούμενο για την απόδοση RDMA.
• Ολοκληρωμένη τηλεμετρία και διαγνωστικά:Παρέχει λεπτομερή ορατότητα στην κατάληψη της προσωρινής μνήμης ανά θύρα, στα ποσοστά σφάλματος σύνδεσης και στα μοτίβα κυκλοφορίας, επιτρέποντας την προληπτική βελτιστοποίηση και την ταχεία απομόνωση σφαλμάτων.

Σύμφωνα με τα αναλυτικάΠροδιαγραφές MQM8790-HS2F, ο διακόπτης υποστηρίζει παραλλαγές ροής αέρα προς τα εμπρός και προς τα πίσω, προσφέροντας διαφορετικά σχέδια ψύξης του κέντρου δεδομένων. Τα διπλά πλεονάζοντα τροφοδοτικά και οι μονάδες ανεμιστήρα με δυνατότητα εναλλαγής θερμότητας ενισχύουν περαιτέρω την αξιοπιστία και τη δυνατότητα συντήρησης.

4. Συστάσεις ανάπτυξης και επέκτασης (με Τυπική Τοπολογία)

Για μια ισορροπημένη και οικονομικά αποδοτική αρχική ανάπτυξη, συνιστώνται οι ακόλουθες βέλτιστες πρακτικές:

• Συνδεσιμότητα από κόμβο σε φύλλο:Χρησιμοποιήστε καλώδια HDR 200 Gb/s (χάλκινο DAC για ≤3m, AOC για ≤30m) μεΣυμβατό με MQM8790-HS2FΥποδοχές QSFP56. Βεβαιωθείτε ότι οι προσαρμογείς καναλιού κεντρικού υπολογιστή έχουν διαμορφωθεί για την ίδια ταχύτητα σύνδεσης και ρυθμίσεις FEC με τις θύρες μεταγωγέα.
• Συνδεσιμότητα από φύλλο σε ράχη:Αναπτύξτε AOC 200 Gb/s ή πολυτροπικούς πομποδέκτες οπτικών ινών για αποστάσεις έως 100 μέτρα. ΟMQM8790-HS2Fδιαπραγματεύεται αυτόματα τις παραμέτρους συνδέσμων, απλοποιώντας την ανάπτυξη.
• Σχεδιασμός υπερσυνδρομής:Για φόρτους εργασίας AI/HPC γενικής χρήσης, η αναλογία υπερσυνδρομής 2:1 (δύο κόμβοι υπολογισμού ανά 200 Gb/s uplink) παρέχει ένα καλό σημείο κόστους-απόδοσης. Για φόρτους εργασίας με βελτιστοποιημένη καθυστέρηση ή ένταση αποθήκευσης, σκεφτείτε την υπερσυνδρομή 1:1 (πλήρης).
• Διαδρομή επέκτασης:Όταν προσθέτετε νέα ράφια, απλώς αναπτύξτε πρόσθετους διακόπτες φύλλων και συνδέστε τους με τους υπάρχοντες διακόπτες ράχης. Για σημαντικές αυξήσεις χωρητικότητας (διπλασιασμός του αριθμού κόμβων), αναβαθμίστε το στρώμα της σπονδυλικής στήλης σε υψηλότερη ρίζα ή προσθέστε μια βαθμίδα υπερ-σπονδυλικής στήλης.

Κατά την αξιολόγηση τωνΤιμή MQM8790-HS2Fκαι το συνολικό κόστος ιδιοκτησίας, θεωρήστε ότι η ενοποιημένη αρχιτεκτονική—χρησιμοποιώντας τον ίδιο τύπο διακόπτη σε όλα τα επίπεδα υφασμάτων—μειώνει τις απαιτήσεις αποθέματος ανταλλακτικών κατά περίπου 70% σε σύγκριση με τις προσεγγίσεις πολλαπλών SKU. Αυτή η απλοποίηση επιταχύνει την απόκριση περιστατικού και ελαχιστοποιεί το χρόνο διακοπής λειτουργίας κατά τη διάρκεια αστοχιών υλικού.

5. Παρακολούθηση λειτουργιών, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Αποτελεσματική διαχείριση ενόςΔιακόπτης MQM8790-HS2F InfiniBandπεριβάλλον απαιτεί μια συστηματική προσέγγιση για την παρακολούθηση, τη διάγνωση και τη ρύθμιση της απόδοσης.

Παρακολούθηση βέλτιστων πρακτικών:

• Αναπτύξτε το Unified Fabric Manager (UFM) της NVIDIA για κεντρική ορατότητα υφάσματος, συμπεριλαμβανομένων των χαρτών τοπολογίας, των χαρτών θερμότητας χρήσης ανά σύνδεση και των ιστογραμμάτων λανθάνοντος χρόνου σε πραγματικό χρόνο.
• Παρακολουθήστε τους μετρητές σφαλμάτων ανά θύρα—ιδιαίτερα τα σφάλματα CRC, τα σφάλματα συμβόλων και τα συμβάντα σύνδεσης—για να εντοπίσετε έγκαιρα υποβαθμισμένα οπτικά ή καλώδια. Ρυθμίστε παγίδες SNMP για προκαθορισμένα όρια για να ενεργοποιήσετε την προληπτική συντήρηση.
• Παρακολουθήστε την αποδοτικότητα συλλογικής λειτουργίας SHARP μέσω των ενσωματωμένων μετρητών απόδοσης του διακόπτη, εντοπίζοντας ευκαιρίες για βελτιστοποίηση των μοτίβων συλλογικής επικοινωνίας σε επίπεδο εφαρμογής.

Αντιμετώπιση προβλημάτων κοινών προβλημάτων:

• Σύνδεση σφαλμάτων CRC σε συγκεκριμένες θύρες:Επαληθεύστε τη θέση του καλωδίου και την καθαριότητα των οπτικών βυσμάτων. Εάν τα σφάλματα επιμένουν, αντικαταστήστε το καλώδιο ή τον πομποδέκτη. ΟΦύλλο δεδομένων MQM8790-HS2Fπαρέχει λεπτομερή διαγνωστικά όρια ανά θύρα.
• Απροσδόκητες αιχμές καθυστέρησης:Ελέγξτε για σημεία συμφόρησης χρησιμοποιώντας την ανάλυση ροής κυκλοφορίας του UFM. Η προσαρμοστική δρομολόγηση μπορεί να χρειάζεται επαναδιαμόρφωση για ορισμένα μοτίβα κυκλοφορίας—πειραματιστείτε με διαφορετικούς αλγόριθμους δρομολόγησης (ελάχιστος έναντι μη ελάχιστος).
• Ζητήματα χωρισμάτων υφάσματος:Διασφαλίστε τις κατάλληλες διαμορφώσεις του κλειδιού διαμερίσματος (PKey) και του διαχειριστή υποδικτύου IPoIB. Ο ενσωματωμένος διαχειριστής υποδικτύου του διακόπτη παρέχει αυτοματοποιημένη ανακάλυψη υφάσματος, αλλά μπορεί να είναι απαραίτητες οι μη αυτόματες ρυθμίσεις για περιβάλλοντα πολλαπλών ενοικιαστών.

Συμβουλές βελτιστοποίησης απόδοσης:

• Για φόρτους εργασίας εκπαίδευσης τεχνητής νοημοσύνης, ενεργοποιήστε το SHARP v3.0 και διαμορφώστε τις βιβλιοθήκες συλλογικής επικοινωνίας (NCCL, OpenMPI) ώστε να χρησιμοποιούν τις δυνατότητες εκφόρτωσης του διακόπτη. Αυτό μπορεί να μειώσει πλήρως τον λανθάνοντα χρόνο έως και 2 φορές για μεγάλα μεγέθη μηνυμάτων.
• Για εφαρμογές HPC ευαίσθητες σε καθυστέρηση, εξετάστε το ενδεχόμενο να απενεργοποιήσετε την προσαρμοστική δρομολόγηση για να επιβάλετε ντετερμινιστική επιλογή διαδρομής, ανταλλάσσοντας κάποια ποικιλομορφία διαδρομής με προβλέψιμη καθυστέρηση.
• Ελέγχετε και ενημερώνετε περιοδικά το υλικολογισμικό του διακόπτη, καθώς η NVIDIA κυκλοφορεί τακτικά βελτιώσεις απόδοσης και ενημερώσεις κώδικα ασφαλείας. Ανατρέξτε στοΦύλλο δεδομένων MQM8790-HS2Fγια πίνακες συμβατότητας εκδόσεων.

6. Περίληψη και Αξιολόγηση

ΟNVIDIA Mellanox MQM8790-HS2Fπροσφέρει μια συναρπαστική πρόταση αξίας για οργανισμούς που δημιουργούν ή αναβαθμίζουν συμπλέγματα RDMA/HPC/AI. Παρέχοντας 200 Gb/s ανά θύρα, καθυστέρηση κάτω από 130 ns και επιτάχυνση υπολογιστών εντός δικτύου σε πλαίσιο 1U, 40 θυρών, ο διακόπτης ανταποκρίνεται στις πιο αυστηρές απαιτήσεις διασύνδεσης των σύγχρονων φόρτων εργασίας υψηλής έντασης δεδομένων.

Οι βασικοί οδηγοί αξίας περιλαμβάνουν:

• Επεκτασιμότητα απόδοσης:Η μη ανασταλτική αρχιτεκτονική του λίπους είναι χτισμένη γύρωMQM8790-HS2F 200 Gb/s HDR 40 θύρας QSFP56Οι κόμβοι κλιμακώνονται από 200 έως 10.000+ κόμβους χωρίς θεμελιώδεις αλλαγές στην τοπολογία.
• Λειτουργική αποτελεσματικότητα:Ένας μόνο τύπος διακόπτη σε όλα τα επίπεδα υφασμάτων μειώνει το απόθεμα ανταλλακτικών, απλοποιεί την εκπαίδευση και επιταχύνει την αντιμετώπιση προβλημάτων.
• Προστασία επενδύσεων:Η συμβατότητα προς τα πίσω με HDR100 και EDR επιτρέπει σταδιακές αναβαθμίσεις, ενώ ο παράγοντας μορφής και η πυκνότητα θύρας του διακόπτη ευθυγραμμίζονται με τους μελλοντικούς οδικούς χάρτες 400G (NDR).
• Αποδεδειγμένο οικοσύστημα:Η βαθιά ενοποίηση με τους προσαρμογείς ConnectX της NVIDIA, τις DPU BlueField και την πλατφόρμα διαχείρισης UFM εξασφαλίζει προβλεψιμότητα απόδοσης από άκρο σε άκρο.

Για οργανισμούς που είναι έτοιμοι να αναπτυχθούν, τοΠωλείται MQM8790-HS2Fμέσω του παγκόσμιου δικτύου εξουσιοδοτημένων διανομέων της NVIDIA περιλαμβάνει ολοκληρωμένες επιλογές υποστήριξης, συμπεριλαμβανομένων επιτόπιων ανταλλακτικών, προηγμένης αντικατάστασης και συνδρομών ενημέρωσης υλικολογισμικού. ΛεπτομερήςΠροδιαγραφές MQM8790-HS2Fκαι σχέδια αναφοράς είναι διαθέσιμα μέσω της πύλης τεχνικής τεκμηρίωσης της NVIDIA, ενώ προσφέρεται συμβουλευτική προσαρμοσμένης τοπολογίας για μεγάλης κλίμακας αναπτύξεις σε ανοιχτό πεδίο ή πράσινο πεδίο.