NVIDIA Mellanox 920-9B210-00FN-0D0 Τεχνική Αναφορά: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης 400Gb/s NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 Τεχνική αναφορά: 400Gb/s NDR Βραχυπρόθεσμη βελτιστοποίηση διασύνδεσης για RDMA/HPC/AI Clusters

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Καθώς τα clusters εκπαίδευσης τεχνητής νοημοσύνης κλιμακώνονται από χιλιάδες σε δεκάδες χιλιάδες GPU, και οι προσομοιώσεις HPC προσεγγίζουν τις επιδόσεις Exascale, οι διασύνδεσεις δικτύων αντιμετωπίζουν πρωτοφανείς απαιτήσεις για εύρος ζώνης, καθυστέρηση,και τον καθορισμόΗ μετάβαση από 200Gb/s HDR σε 400Gb/s NDR δεν είναι πλέον προαιρετική· είναι μια στρατηγική αναγκαιότητα για τους οργανισμούς που χρησιμοποιούν μοντέλα τρισεκατομμυρίων παραμέτρων και παράλληλη πληροφορική μεγάλης κλίμακας.Σε πολλαπλά κύρια περιβάλλοντα ανάπτυξης, οι βασικές απαιτήσεις μπορούν να συνοψιστούν ως εξής:

• Αποφασιστική πολύ χαμηλή καθυστέρηση:Το MPI και οι συλλογικές επικοινωνίες "όλα προς όλα" πρέπει να διατηρούν υπο-100ns καθυστέρηση από λιμάνι σε λιμάνι για να ελαχιστοποιηθούν οι επιπτώσεις των επικοινωνιακών δαπανών στην σύγκλιση της κατάρτισης.
• Υφάσματα χωρίς απώλεια σε κλίμακα:Το μηδενικό πακέτο πέφτει σε χιλιάδες τελικά σημεία, διασφαλίζοντας ότι η απόδοση RDMA δεν υποβαθμίζεται υπό συμφόρηση.
• Εκφόρτωση υπολογιστών στο δίκτυο:Εκφόρτωση συλλογικών λειτουργιών (all-reduce, all-to-all, broadcast) στο υλικό διακόπτη για να απελευθερωθούν πόροι CPU/GPU host.
• Μεταβασιμότητα υψηλής ρίζας:Υποστήριξη για τοπολογίες fat-tree και dragonfly + με πλήρες εύρος ζώνης διχασμού σε 8.000+ κόμβους.
• Προστασία επενδύσεων:Συμφωνία με υφιστάμενα καλώδια HDR, οπτικά και εργαλεία διαχείρισης για σταδιακές αναβαθμίσεις.

Για την αντιμετώπιση αυτών των αναγκών, η λύση αυτή υιοθετεί τηνNVIDIA Mellanox 920-9B210-00FN-0D0ως το βασικό δομικό στοιχείο ενός διακόπτη 400Gb/s NDR InfiniBand που έχει σχεδιαστεί ειδικά για εφαρμογές κατηγορίας Exascale.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου

Η προτεινόμενη λύση χρησιμοποιεί μια τοπολογία δύο επιπέδων φύλλου-οστραγγίου, παρέχοντας ένα κλιμακώσιμο, μη αποκλειστικό ύφασμα με καθοριστική καθυστέρηση και απλοποιημένη καλωδίωση.κάθε ράφι υπολογιστών είναι εξοπλισμένο με ένα ή δύο920-9B210-00FN-0D0 InfiniBand διακόπτης OPNΟι μονάδες, που παρέχουν 64 θύρες 400Gb/s NDR σύνδεσης στους διακομιστές GPU μέσω OSFP direct-attach copper (DAC) ή ενεργών οπτικών καλωδίων (AOC).920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΟι διακόπτες διασυνδέουν όλους τους διακόπτες φύλλων, δημιουργώντας ένα υλικό δέντρου λίπους πλήρους εύρους ζώνης.

Για τα clusters που υπερβαίνουν τους 5.000 κόμβους, μπορεί να εφαρμοστεί μια αρχιτεκτονική κλεισίματος σε τρία επίπεδα,με το 920-9B210-00FN-0D0 να λειτουργεί τόσο ως φύλλο όσο και ως σπονδυλική στήλη για τη διατήρηση σταθερής απόδοσης σε όλα τα επίπεδαΟ διακόπτης υποστηρίζει έως και 64 διακόπτες σε ένα ενιαίο υλικό υπό έναν ενιαίο διαχειριστή υποδίκτυου, επιτρέποντας τον ενοποιημένο έλεγχο των μεγάλων τοπολογιών.

Ο παρακάτω πίνακας συνοψίζει τις βασικές παραμέτρους κλίμακας για ένα υλικό NDR 2 επιπέδων που κατασκευάστηκε γύρω από το 920-9B210-00FN-0D0:

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox 920-9B210-00FN-0D0

Μέσα σε αυτή την αρχιτεκτονική, ηNVIDIA Mellanox 920-9B210-00FN-0D0χρησιμεύει ως θεμελιώδες στοιχείο μετάβασης, παρέχοντας αρκετές κρίσιμες δυνατότητες που αντιμετωπίζουν άμεσα τις απαιτήσεις που προσδιορίζονται στο τμήμα 1:

• 64 θύρες 400Gb/s NDR:Κάθε θύρα OSFP υποστηρίζει αμφίδρομη 400Gb / s με διεύθυνση διεύθυνση διεύθυνση 400Gb / s με διεύθυνση διεύθυνση διεύθυνση 400Gb / s με διεύθυνση διεύθυνση 400Gb / s.2 Tb/s παρέχει άφθονο χώρο για ακόμη και τα πιο επικοινωνιακά έντονα φορτία εργασίας.
• Υπερ-χαμηλή καθυστέρηση διακοπής:Υπο-100ns καθυστέρηση από λιμάνι σε λιμάνι, όπως τεκμηριώθηκε στοΠίνακας δεδομένων 920-9B210-00FN-0D0, εξασφαλίζει ελάχιστο γενικό κόστος για τις λειτουργίες MPI και RDMA.
• Ενσωματωμένο SHARPv3:Αποφορτίζει τις συλλογικές λειτουργίες από τις CPU host, μειώνοντας την καθυστέρηση all-reduce έως 40% και all-to-all έως 35% σε εργασίες μεγάλης κλίμακας.
• Προσαρμοστική διαδρομή και έλεγχος συμφόρησης:Αναπροσανατολίζει δυναμικά την κυκλοφορία για να αποφεύγει τα hotspots, διατηρώντας προβλέψιμες επιδόσεις κάτω από αντιφατικά μοτίβα κυκλοφορίας.Η προηγμένη τηλεμετρία παρέχει ορατότητα ανά ροή και ανά λιμάνι για προληπτική διαχείριση.
• Συνολική διαχειρίσιμη ικανότητα:Πλήρης ολοκλήρωση με το Unified Fabric Manager (UFM) της NVIDIA για προμήθεια μηδενικών επαφών, παρακολούθηση της υγείας και αυτοματοποιημένη μετάβαση αποτυχίας.

Η920-9B210-00FN-0D0 προδιαγραφέςνα επισημαίνουν επίσης διπλές εφεδρικές πηγές ρεύματος, ενότητες ανεμιστήρων θερμής ανταλλαγής και υποστήριξη εφεδρικών διαμορφώσεων διαχειριστή υποδίκτυου, εξασφαλίζοντας διαθεσιμότητα 99,999% για κρίσιμα φορτία εργασίας.

4. Σύσταση για την ανάπτυξη και την κλιμακωτότητα

Για οργανισμούς που σχεδιάζουν να υιοθετήσουν την920-9B210-00FN-0D0 Λύση InfiniBand switch OPN, συνιστώνται οι ακόλουθες κατευθυντήριες γραμμές ανάπτυξης:

• Στρατηγική καλωδίωσης:Χρησιμοποιήστε καλώδια OSFP-OSFP DAC για συνδέσεις εντός των ράκων (μέχρι 3m) και AOC ή οπτικούς δέκτες για συνδέσεις μεταξύ των ράκων και των σπονδυλικών φύλλων (μέχρι 100m).920-9B210-00FN-0D0 συμβατόγια να αποφευχθούν προβλήματα ακεραιότητας σήματος.
• Απολύσεις:Χρησιμοποιήστε τουλάχιστον δύο διακόπτες σπονδυλικής στήλης ανά φύλλο για να εξαλείψετε τα σημεία αποτυχίας.να εξετάσει την υπέρβαση N+1 στο επίπεδο της σπονδυλικής στήλης.
• Διαχείριση λογισμικού:Βεβαιωθείτε ότι όλοι οι διακόπτες τρέχουν πανομοιότυπες εκδόσεις firmware NVIDIA. Χρησιμοποιήστε την αυτόματη λειτουργία αναβάθμισης firmware της UFM για συνεχείς ενημερώσεις χωρίς διακοπή.Βεβαίωση της συμβατότητας του λογισμικού με τους προσαρμογείς και τα καλώδια υποδοχής πριν από την ανάπτυξη.
• Διάδρομος κλιμακώσιμης δυνατότητας:Για συστάδες άνω των 4.096 κόμβων, μετάβαση σε μια τριεπίπεδη τοπολογία διπλωμένου κλεισίματος ή αντλία dragonfly + με προσαρμοστική δρομολόγηση.με πολλαπλά υφάσματα που συνδέονται μεταξύ τους μέσω πύλη για μεγαλύτερες αναπτύξεις.
• Η έγκριση της απόδοσης:Πριν από την ανάπτυξη της παραγωγής, εκτελέστε ολοκληρωμένες δοκιμές αντίστασης χρησιμοποιώντας τα κριτήρια αναφοράς απόδοσης OpenFabrics Enterprise Distribution (OFED) για την επικύρωση της απόδοσης του υφάσματος έναντι τουΠίνακας δεδομένων 920-9B210-00FN-0D0προδιαγραφές.

Κατά τον υπολογισμό του συνολικού κόστους ιδιοκτησίας, λαμβάνεται υπόψη ο μειωμένος αριθμός των βαθμίδων διακόπτη και η απλοποιημένη καλωδίωση σε σύγκριση με εναλλακτικές λύσεις χαμηλότερης ακτίνας.920-9B210-00FN-0D0 τιμήΤο κόστος ανά πύλη και το κόστος δικτύωσης ανά GPU είναι σημαντικά χαμηλότερο σε μεγάλες εκτάσεις, καθιστώντας την οικονομικά αποδοτική επιλογή για τα έργα Exascale.

5Λειτουργίες, παρακολούθηση και αντιμετώπιση προβλημάτων

Η αποτελεσματική διαχείριση ενός υλικού NDR απαιτεί ένα ολοκληρωμένο πλαίσιο παρακολούθησης και αντιμετώπισης προβλημάτων.NVIDIA Mellanox 920-9B210-00FN-0D0- με βάση υφάσματα, που προσφέρουν:

• Εικόνα τοπολογίας:Αυτόματη ανακάλυψη και γραφική αναπαράσταση όλων των διακόπτες, συνδέσμων και τελικών σημείων με ενημερώσεις κατάστασης σε πραγματικό χρόνο.
• Πίνακες ελέγχου επιδόσεων:Επισκόπηση σε πραγματικό χρόνο της χρησιμοποίησης λιμένων, των ποσοστών σφαλμάτων, των δεικτών συμφόρησης και της απασχόλησης των αποθηκών σε ολόκληρο τον ιστό.
• Προληπτική προειδοποίηση:Προειδοποιήσεις που βασίζονται σε όρια για υποβάθμιση συνδέσμου, ανωμαλίες θερμοκρασίας, διακοπές τροφοδοσίας και φθορά καλωδίων.
• Απομόνωση σφάλματος:Διοδηγούμενες ροές εργασίας αντιμετώπισης προβλημάτων που εντοπίζουν ελαττωματικά καλώδια, πομπούς μεταφοράς ή θύρες διακόπτη, μειώνοντας τον μέσο χρόνο μέχρι την επίλυση (MTTR).
• Ιστορική ανάλυση:Ανάλυση τάσεων και προγραμματισμός της ικανότητας με βάση τα ιστορικά δεδομένα απόδοσης, επιτρέποντας προληπτικές αποφάσεις κλιμάκωσης.

Για την προηγμένη αντιμετώπιση προβλημάτων, αξιοποιήστε τα ενσωματωμένα διαγνωστικά εργαλεία του διακόπτη, συμπεριλαμβανομένων των δοκιμών loopback, της ανάλυσης BER (ποσοστό σφάλματος bits) και της διαγνωστικής παρακολούθησης οπτικών μονάδων (DOM).Τα κοινά προβλήματα που συναντήθηκαν στις πρώιμες αναπτύξεις NDR περιλαμβάνουν μη βέλτιστη δρομολόγηση που προκαλείται από άνιση ταχύτητα σύνδεσηςΕπιτρέπει την προσαρμοστική δρομολόγηση, επαληθεύοντας ότι όλες οι συνδέσεις λειτουργούν με τα 400Gb / s με ενεργοποιημένη FEC,και διασφαλίζοντας συνεπή firmware σε όλους τους διακόπτες επιλύει την πλειοψηφία των ανωμαλιών απόδοσης.

Οι μηχανικοί δικτύων θα πρέπει επίσης να καθορίσουν μια βάση920-9B210-00FN-0D0 προδιαγραφέςΟι ερευνητές διαπίστωσαν ότι οι ερευνητές δεν είχαν επαρκή στοιχεία σχετικά με την πιθανότητα να εμφανιστούν προβλήματα κατά τη διάρκεια της φάσης επικύρωσης.920-9B210-00FN-0D0 InfiniBand διακόπτης OPNυποστηρίζει επίσης ολοκληρωμένη καταγραφή γεγονότων μέσω syslog και SNMP, επιτρέποντας την ενσωμάτωση με υπάρχουσες στοιβάδες παρακολούθησης κέντρων δεδομένων.

6Συνοπτική & Αξιολόγηση

Η920-9B210-00FN-0D0Παρέχει 64 θύρες 400Gb/s NDR με καθυστέρηση κάτω των 100ns, SHARPv3 offload,διαχειρίσιμη σε επίπεδο επιχείρησης, και πλήρη συμβατότητα με το υφιστάμενο οικοσύστημα HDR, όλα σε μια συμπαγή πλατφόρμα 1U.

• Απόδοση:Μέχρι 75% μείωση της καθυστέρησης επικοινωνίας μεταξύ όλων και έως 40% μείωση της καθυστέρησης μείωσης όλων μέσω της εκφόρτωσης SHARPv3 και του εύρους ζώνης NDR.
• Αποδοτικότητα κόστους:Λιγότερο κόστος δικτύωσης ανά GPU σε σύγκριση με τις εναλλακτικές λύσεις HDR σε μεγάλες εφαρμογές, λόγω της υψηλότερης ακτίνας και του μειωμένου αριθμού στρωμάτων διακόπτη.
• Απλούστευση της λειτουργίας:Βαθιά ολοκλήρωση με την UFM για ενοποιημένη διαχείριση, αυτοματοποιημένη προμήθεια, προληπτική παρακολούθηση και ταχεία επίλυση σφαλμάτων.
• Προστασία επενδύσεων:Πλήρης συμβατότητα με τα υφιστάμενα καλώδια HDR, τα οπτικά και τις στοίβες λογισμικού, επιτρέποντας σταδιακές αναβαθμίσεις χωρίς διαταραχή των φόρτων εργασίας παραγωγής.
• Μελλοντική επεκτασιμότητα:Υποστήριξη τριών επιπέδων με τοπολογίες folded-Clos και dragonfly +, εξασφαλίζοντας ότι το υλικό μπορεί να κλιμακωθεί σε 8.000+ κόμβους καθώς αυξάνονται οι απαιτήσεις υπολογισμού.

Για τους οργανισμούς που αξιολογούν την920-9B210-00FN-0D0 προς πώλησημέσω των συνεργατών του καναλιού της NVIDIA, συνιστούμε να αναθεωρήσουμε το λεπτομερέςΠίνακας δεδομένων 920-9B210-00FN-0D0Το έργο αυτό θα πρέπει να έχει ως στόχο την επίτευξη των στόχων που καθορίζονται από το σχεδιασμό.NVIDIA Mellanox 920-9B210-00FN-0D0είναι έτοιμο για παραγωγή σήμερα, προσφέροντας μια υψηλής απόδοσης, κλιμακώσιμη βάση διασύνδεσης για την επόμενη γενιά καινοτομίας AI και HPC.