NVIDIA Mellanox 920-9B110-00FH-0D0 Τεχνική Αναφορά: Βελτιστοποιημένη Διασύνδεση Χαμηλής Καθυστέρησης για RDMA/HPC/AI

NVIDIA Mellanox 920-9B110-00FH-0D0 Τεχνική αναφορά: Βελτιωμένη διασύνδεση χαμηλής καθυστέρησης για RDMA / HPC / AI Clusters σε HDR 200Gb / s

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Καθώς τα clusters HPC και AI συνεχίζουν να κλιμακώνονται, οι κατανεμημένοι φόρτοι εργασίας κατάρτισης και επιστημονικής προσομοίωσης απαιτούν όλο και αυστηρότερο εύρος ζώνης δικτύου, καθυστέρηση και κλιμακωτότητα. not every cluster requires 400Gb/s NDR infrastructure—a significant number of production environments are already standardized on 200Gb/s HDR and seek performance improvements within a controlled budgetΟι τυπικές απαιτήσεις περιλαμβάνουν:

• Διοριστική χαμηλή καθυστέρηση:Η συλλογική επικοινωνία MPI πρέπει να διατηρεί καθυστέρηση από λιμάνι σε λιμάνι μικρότερη από ένα μικροδευτερόλεπτο, ώστε να αποφεύγεται η καθυστέρηση της ουράς να επηρεάζει τη σύγκλιση της εκπαίδευσης.
• Υφάσματα χωρίς απώλεια:Το μηδενικό πακέτο πέφτει κάτω από συμφόρηση για να εξασφαλιστεί η αποτελεσματικότητα RDMA και να αποφευχθεί η κατάρρευση της απόδοσης.
• Εκφόρτωση υπολογιστών στο δίκτυο:Εκφόρτωση συλλογικών λειτουργιών όπως All-Reduce στο δίκτυο για να απελευθερωθούν πόροι CPU/GPU.
• Αδιάλειπτη κλιμακωτότητα:Υποστήριξη μη αποκλειστικής επέκτασης από εκατοντάδες σε χιλιάδες κόμβους, με συμβατότητα για υφιστάμενα καλώδια HDR και οπτικούς δέκτες.

Για την αντιμετώπιση αυτών των αναγκών, η λύση αυτή υιοθετεί τηνNVIDIA Mellanox 920-9B110-00FH-0D0ως το βασικό δομικό στοιχείο ενός 200Gb/s HDR InfiniBand διακόπτη που εξισορροπεί τις επιδόσεις, την πυκνότητα και την οικονομική απόδοση για μεσαίας έως μεγάλης κλίμακας ανάπτυξης.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου

Η προτεινόμενη λύση χρησιμοποιεί μια τοπολογία δύο επιπέδων φύλλου-αστέρας, η οποία παρέχει ένα κλιμακώσιμο, μη αποκλειστικό ύφασμα με προβλέψιμη καθυστέρηση και απλοποιημένη καλωδίωση.κάθε ράφι υπολογιστών είναι εξοπλισμένο με ένα920-9B110-00FH-0D0 InfiniBand διακόπτης OPN(Αριθμός Τμήματος Παραγγελίας), προσφέροντας 40 θύρες HDR σύνδεσης 200Gb / s σε διακομιστές GPU μέσω χαλκού άμεσης σύνδεσης OSFP-OSFP (DAC) ή ενεργών οπτικών καλωδίων (AOC).ένα δεύτερο επίπεδο των διακόπτες MQM8790-HS2F920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR∆ιασυνδέει όλους τους διακόπτες φύλλων, δημιουργώντας ένα υλικό δέντρου λίπους πλήρους εύρους ζώνης.

Για μεγαλύτερα clusters άνω των 1.500 κόμβων, μπορεί να εφαρμοστεί μια τριεπίπεδη αρχιτεκτονική πτυσσόμενου κλεισίματος,με το 920-9B110-00FH-0D0 να λειτουργεί τόσο ως φύλλο όσο και ως σπονδυλική στήλη για τη διατήρηση σταθερής απόδοσης σε όλα τα επίπεδαΟ παρακάτω πίνακας συνοψίζει τις βασικές παραμέτρους κλίμακας για ένα υλικό HDR 2 επιπέδων που έχει κατασκευαστεί γύρω από αυτόν τον διακόπτη:

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox 920-9B110-00FH-0D0

Μέσα σε αυτή την αρχιτεκτονική, ηNVIDIA Mellanox 920-9B110-00FH-0D0χρησιμεύει ως το θεμελιώδες στοιχείο εναλλαγής, παρέχοντας αρκετές κρίσιμες δυνατότητες:

• 40 θύρες HDR 200Gb/s:Κάθε θύρα OSFP υποστηρίζει αμφίδρομη 200Gb / s με προωθητική διόρθωση σφαλμάτων (FEC) για αξιόπιστη συνδεσιμότητα εκτεταμένης εμβέλειας.
• Ενσωματωμένο SHARPv2 (Διαβασιλέστερο πρωτόκολλο ιεραρχικής συγκέντρωσης και μείωσης):Αποφορτίζει τις εργασίες συλλογικής επικοινωνίας, μειώνοντας την καθυστέρηση MPI All-Reduce έως και κατά 30% σε τυπικά φορτία εργασίας HPC.
• Προσαρμοστική διαδρομή και έλεγχος συμφόρησης:Αναπροσανατολίζει δυναμικά την κυκλοφορία για να αποφεύγει τα hotspots, εξασφαλίζοντας προβλέψιμη απόδοση σε αντιφατικά μοτίβα κυκλοφορίας.
• Προηγμένη τηλεμετρία:Οι μετρητές ανά ροή και ανά λιμάνι, μαζί με την παρακολούθηση της απασχόλησης του αποθέτη, παρέχουν βαθιά ορατότητα στην υγεία των υφασμάτων.

Σύμφωνα με τηνΠίνακας δεδομένων 920-9B110-00FH-0D0Το switch παρέχει υπο-200ns καθυστέρηση διακοπής και υποστηρίζει έως και 8,0 Tb/s συνολικής χωρητικότητας διακόπτη.920-9B110-00FH-0D0 προδιαγραφέςνα επισημαίνουν επίσης διπλές περιττές πηγές ρεύματος και θερμά εναλλασσόμενες μονάδες ανεμιστήρων, εξασφαλίζοντας διαθεσιμότητα 99,999% για τα κρίσιμα για την αποστολή φορτία εργασίας.

4. Σύσταση για την ανάπτυξη και την κλιμακωτότητα

Για οργανισμούς που σχεδιάζουν να υιοθετήσουν την920-9B110-00FH-0D0 Λύση InfiniBand switch OPN, συνιστώνται οι ακόλουθες κατευθυντήριες γραμμές ανάπτυξης:

• Στρατηγική καλωδίωσης:Χρησιμοποιήστε καλώδια OSFP-OSFP DAC για συνδέσεις εντός των ράκων (μέχρι 3m) και AOC ή οπτικούς δέκτες για συνδέσεις μεταξύ των ράκων και των σπονδυλικών φύλλων (μέχρι 100m).920-9B110-00FH-0D0 συμβατόσύμφωνα με τη μήτρα συμβατότητας NVIDIA.
• Απολύσεις:Χρησιμοποιήστε τουλάχιστον δύο διακόπτες σπονδυλικής στήλης ανά φύλλο για την εξάλειψη των μονάδων αποτυχίας.
• Διαχείριση λογισμικού:Βεβαιωθείτε ότι όλοι οι διακόπτες τρέχουν πανομοιότυπες εκδόσεις firmware NVIDIA. Χρησιμοποιήστε την αυτόματη λειτουργία αναβάθμισης firmware της UFM για συνεχείς ενημερώσεις χωρίς διακοπή.
• Διάδρομος κλιμακώσιμης δυνατότητας:Για ομάδες άνω των 1.600 κόμβων, μετάβαση σε τριετή τοπολογία κλεισίματος ή χρήση dragonfly+ με προσαρμοστική διαδρομή.Το 920-9B110-00FH-0D0 υποστηρίζει έως και 64 διακόπτες σε ένα ενιαίο υλικό κάτω από ένα ενιαίο διαχειριστή υποδίκτυου.

Κατά τον υπολογισμό του συνολικού κόστους ιδιοκτησίας, λαμβάνεται υπόψη ο μειωμένος αριθμός των βαθμίδων διακόπτη και η απλοποιημένη καλωδίωση σε σύγκριση με εναλλακτικές λύσεις χαμηλότερης ακτίνας.920-9B110-00FH-0D0 τιμήΤο κόστος ανά πύλη είναι σημαντικά χαμηλότερο από το NDR, καθιστώντας την μια βέλτιστη επιλογή για τις αναπτύξεις HDR που έχουν επίγνωση του κόστους.

5Λειτουργίες, παρακολούθηση και αντιμετώπιση προβλημάτων

Η αποτελεσματική διαχείριση ενός υλικού HDR απαιτεί ένα ολοκληρωμένο πλαίσιο παρακολούθησης και αντιμετώπισης προβλημάτων.NVIDIA Mellanox 920-9B110-00FH-0D0- με βάση υφάσματα, που προσφέρουν:

• Εικόνα τοπολογίας:Αυτόματη ανακάλυψη και γραφική αναπαράσταση όλων των διακόπτες, συνδέσμων και τελικών σημείων.
• Πίνακες ελέγχου επιδόσεων:Επισκόπηση σε πραγματικό χρόνο της χρησιμοποίησης λιμένων, των ποσοστών σφαλμάτων και των δεικτών συμφόρησης.
• Προληπτική προειδοποίηση:Προειδοποιήσεις που βασίζονται σε όρια για υποβάθμιση συνδέσμου, ανωμαλίες θερμοκρασίας και διακοπές τροφοδοσίας.
• Απομόνωση σφάλματος:Κατευθυνόμενες ροές εργασίας αντιμετώπισης προβλημάτων που εντοπίζουν ελαττωματικά καλώδια, πομπούς μεταφοράς ή θύρες διακόπτη.

Για την προηγμένη αντιμετώπιση προβλημάτων, αξιοποιήστε τα ενσωματωμένα διαγνωστικά εργαλεία του διακόπτη, συμπεριλαμβανομένων των δοκιμών loopback και της ανάλυσης BER (ποσοστό σφάλματος bits),για την επικύρωση της ακεραιότητας της σύνδεσης πριν από την ανάπτυξη φόρτων εργασίας παραγωγήςΤα κοινά προβλήματα που συναντήθηκαν στις πρώιμες αναπτύξεις περιλαμβάνουν μη βέλτιστη δρομολόγηση που προκαλείται από άνιση ταχύτητα σύνδεσης ή μη συμβατούς τύπους καλωδίων.Η ενεργοποίηση της προσαρμοστικής δρομολόγησης και η επαλήθευση ότι όλες οι συνδέσεις λειτουργούν με ταχύτητα 200Gb / s (με ενεργοποιημένη FEC) επιλύει τις περισσότερες ανωμαλίες απόδοσης. το920-9B110-00FH-0D0 InfiniBand διακόπτης OPNυποστηρίζει επίσης περιττές διαμορφώσεις διαχειριστή υποδίκτυου, διασφαλίζοντας την επαναδιαμόρφωση του υλικού χωρίς χειροκίνητη παρέμβαση σε περίπτωση βλάβης κόμβου διαχείρισης.

6Συνοπτική & Αξιολόγηση

Η920-9B110-00FH-0D0Παρέχει 40 θύρες HDR 200Gb / s με καθυστέρηση κάτω των 200ns, SHARPv2 offload,και διαχειρισιμότητα επιχειρηματικού επιπέδου σε μια οικονομικά αποδοτική πλατφόρμα 1UΤα βασικά σημεία αξίας περιλαμβάνουν:

• Απόδοση:Μέχρι 35% μείωση των χρόνων ολοκλήρωσης εργασίας για φορτία εργασίας που απαιτούν επικοινωνία μέσω της εκφόρτωσης SHARPv2 και της προσαρμοστικής διαδρομής.
• Αποδοτικότητα κόστους:Λιγότερο TCO σε σύγκριση με τις εναλλακτικές λύσεις NDR, με το κόστος ανά λιμάνι να είναι βελτιστοποιημένο για εφαρμογές HDR.
• Απλούστευση της λειτουργίας:Βαθιά ολοκλήρωση με την UFM για ενοποιημένη διαχείριση, προληπτική παρακολούθηση και αυτοματοποιημένη μετάβαση.
• Προστασία επενδύσεων:Πλήρης συμβατότητα με τα υφιστάμενα καλώδια HDR, τα οπτικά και τις στοίβες λογισμικού, επιτρέποντας σταδιακές αναβαθμίσεις χωρίς διαταραχή της παραγωγής.

Για τους οργανισμούς που αξιολογούν την920-9B110-00FH-0D0 προς πώλησημέσω των συνεργατών του καναλιού της NVIDIA, συνιστούμε να αναθεωρήσουμε το λεπτομερέςΠίνακας δεδομένων 920-9B110-00FH-0D0Το έργο αυτό θα πρέπει να έχει ως στόχο την επίτευξη των στόχων που καθορίζονται από το σχεδιασμό.NVIDIA Mellanox 920-9B110-00FH-0D0είναι έτοιμο για παραγωγή σήμερα, προσφέροντας μια ισορροπημένη, υψηλής απόδοσης βάση διασύνδεσης για την επόμενη γενιά καινοτομίας HPC και AI.