Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch Τεχνική Λύση

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch Technical Solution | Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για συμπλέγματα RDMA/HPC/AI

1. Ανάλυση Ιστορικού & Απαιτήσεων Έργου

Τα σύγχρονα πλαίσια εκπαίδευσης τεχνητής νοημοσύνης και οι εφαρμογές HPC περιορίζονται όλο και περισσότερο από την απόδοση διασύνδεσης δικτύου και όχι από την υπολογιστική πυκνότητα μόνο. Οι κατανεμημένες εργασίες εκπαίδευσης —ιδιαίτερα εκείνες που χρησιμοποιούν μεγάλα γλωσσικά μοντέλα— δημιουργούν μαζικά, συγχρονισμένα μοτίβα επισκεψιμότητας που μειώνουν την κυκλοφορία και κατακλύζουν τα παραδοσιακά υφάσματα Ethernet. Οι βασικές απαιτήσεις που προσδιορίζονται σε όλες τις εταιρικές αναπτύξεις περιλαμβάνουν: λανθάνοντα χρόνο μεταγωγέα σε μικρότερο του δευτερολέπτου για την ελαχιστοποίηση της επιβάρυνσης επικοινωνίας, μη αποκλεισμό της διεκπεραιωτικής κλίμακας για την εξάλειψη της υπερσυνδρομής, προηγμένο έλεγχο συμφόρησης για τη διαχείριση εκρήξεων και απρόσκοπτη ενοποίηση με το RDMA μέσω Converged Ethernet (RoCE) ή εγγενών οικοσυστημάτων InfiniBand. Επιπλέον, οι επιχειρησιακές ομάδες απαιτούν βαθιά τηλεμετρία για προληπτικό εντοπισμό σφαλμάτων και απλοποιημένη διαχείριση σε εκατοντάδες θύρες.

2. Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύων/Συστήματος

Η προτεινόμενη αρχιτεκτονική επικεντρώνεται σε μια τοπολογία φύλλου-σπονδυλικής στήλης δύο επιπέδων, που έχει σχεδιαστεί ειδικά για φόρτους εργασίας με επίκεντρο την GPU. Στο φύλλο φύλλου, κάθε ράφι στεγάζει τοMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0ως κύριος διακόπτης ToR (Top-of-Rack), που συνδέει έως και 40 υπολογιστικούς κόμβους μέσω συνδέσεων NDR 400 Gb/s. Το στρώμα της σπονδυλικής στήλης αποτελείται από μια δεύτερη βαθμίδα920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRδιακόπτες, που παρέχουν συνδεσιμότητα πλήρους πλέγματος με υπερσυνδρομή 4:1—ή πλήρως μη μπλοκάρισμα όταν αναπτύσσονται με επαρκείς θύρες σπονδυλικής στήλης. Αυτός ο σχεδιασμός υποστηρίζει έως και 512 κόμβους GPU σε έναν ενιαίο τομέα υφάσματος, με την επιλογή οριζόντιας κλίμακας μέσω πολλαπλών υποδικτύων που διασυνδέονται μέσω του UFM (Unified Fabric Manager) της NVIDIA.

Η αρχιτεκτονική αξιοποιεί τον μηχανισμό υπολογιστών SHARPv3 της NVIDIA (Scalable Hierarchical Aggregation and Reduction Protocol) εντός δικτύου, εκφορτώνοντας συλλογικές λειτουργίες απευθείας στον διακόπτη ASIC. Αυτό μειώνει τον όγκο των δεδομένων που διασχίζουν τους διαύλους μνήμης CPU/GPU και μειώνει τη συλλογική καθυστέρηση λειτουργίας έως και 40% σε σύγκριση με προσεγγίσεις που βασίζονται σε λογισμικό. Ο920-9B210-00FN-0D0 Διακόπτης InfiniBand OPNΥποστηρίζει επίσης προσαρμοστική δρομολόγηση, η οποία επιλέγει δυναμικά τη διαδρομή με τη μικρότερη συμφόρηση για κάθε πακέτο, διασφαλίζοντας τη βέλτιστη χρήση του εύρους ζώνης ακόμη και κάτω από ασύμμετρα φορτία κυκλοφορίας.

3. Ρόλος και βασικά χαρακτηριστικά του 920-9B210-00FN-0D0 στη λύση

ΟNVIDIA Mellanox 920-9B210-00FN-0D0χρησιμεύει ως το θεμέλιο δομικό στοιχείο για ολόκληρο τον ιστό διασύνδεσης. Οι κύριοι ρόλοι του περιλαμβάνουν:

• Συσσώρευση υψηλής πυκνότητας:Με έως και 64 μη μπλοκαρισμένες θύρες 400Gb/s σε παράγοντα μορφής 2U, ο μεταγωγέας παρέχει συνολική ικανότητα μεταγωγής 25,6 Tb/s. Αυτή η πυκνότητα μειώνει τον αριθμό των διακοπτών που απαιτούνται ανά rack, απλοποιώντας την καλωδίωση και μειώνοντας την κατανάλωση ενέργειας ανά θύρα.
• Εναλλαγή εξαιρετικά χαμηλής καθυστέρησης:Ο μεταγωγέας διατηρεί καθυστέρηση κάτω των 600ns για οποιοδήποτε μέγεθος πακέτου, κρίσιμης σημασίας για εφαρμογές που είναι ευαίσθητες σε λανθάνουσα κατάσταση όπως η διαδικτυακή εξαγωγή συμπερασμάτων και το οικονομικό HPC.
• Υπολογισμός εντός δικτύου:Η ενσωμάτωση του SHARPv3 επιτρέπει την επιτάχυνση υλικού των συλλογικών λειτουργιών, μειώνοντας τον αριθμό των διασχίσεων σε όλο το ύφασμα και βελτιώνοντας τους συνολικούς χρόνους ολοκλήρωσης της εργασίας έως και 30%.
• Προηγμένη τηλεμετρία και έλεγχος συμφόρησης:Ο διακόπτης παρέχει ορατότητα ανά ροή, επισημαίνοντας τις συμφορημένες ροές για προσαρμογές από την πλευρά του κεντρικού υπολογιστή και επιτρέποντας την έγκαιρη προειδοποίηση για τα αρχικά hotspot.

Σύμφωνα με το920-9B210-00FN-0D0 φύλλο δεδομένων, ο διακόπτης υποστηρίζει και χάλκινους και οπτικούς πομποδέκτες QSFP-DD, κάτι που το καθιστάΣυμβατό με 920-9B210-00FN-0D0με την υπάρχουσα υποδομή καλωδίωσης στα περισσότερα κέντρα δεδομένων. Η ροή αέρα εμπρός προς τα πίσω και τα περιττά τροφοδοτικά εξασφαλίζουν υψηλή διαθεσιμότητα σε εταιρικά περιβάλλοντα.

4. Συστάσεις ανάπτυξης και κλιμάκωσης (Τυπική τοπολογία)

Για μια ανάπτυξη 128 κόμβων GPU σε πράσινο πεδίο, συνιστούμε μια αρχιτεκτονική δύο επιπέδων με 4 διακόπτες φύλλων και 2 διακόπτες σπονδυλικής στήλης, με κάθε ράχη να συνδέεται σε κάθε φύλλο μέσω ανοδικών ζεύξεων 4x400 Gb/s—με αποτέλεσμα αναλογία υπερσυνδρομής 2:1, η οποία είναι αποδεκτή για τους περισσότερους φόρτους εργασίας εκπαίδευσης. Για εφαρμογές ευαίσθητες σε καθυστέρηση ή υψηλού εύρους ζώνης, μπορεί να επιτευχθεί σχεδιασμός χωρίς αποκλεισμό 1:1 αυξάνοντας τον αριθμό της σπονδυλικής στήλης στο 4, αποδίδοντας συνολική χωρητικότητα ανερχόμενης ζεύξης ίση με τις θύρες κατερχόμενης ζεύξης.

Η κλιμάκωση πέραν των 512 κόμβων απαιτεί τη διαίρεση του υφάσματος σε πολλαπλά υποδίκτυα, καθένα από τα οποία διαχειρίζεται το UFM ως ξεχωριστή νησίδα υφάσματος. Η επικοινωνία μεταξύ υποδικτύων μπορεί να δρομολογηθεί μέσω των πυλών Quantum-2 της NVIDIA ή μέσω δρομολόγησης που βασίζεται σε κεντρικό υπολογιστή, αν και η συνιστώμενη προσέγγιση για φόρτους εργασίας ευαίσθητους στην απόδοση είναι να διατηρείται το ύφασμα σε ένα μόνο υποδίκτυο όπου είναι δυνατόν. Ο920-9B210-00FN-0D0 προδιαγραφέςυποστηρίζει αυτές τις τοπολογίες μεγάλης κλίμακας, με ενσωματωμένο έλεγχο ροής και έλεγχο ροής βάσει προτεραιότητας (PFC) για την αποφυγή πτώσεων πακέτων κατά τη διάρκεια συμβάντων επαναδρομολόγησης διαδρομής.

Όταν σχεδιάζετε φυσική καλωδίωση, σκεφτείτε να χρησιμοποιήσετε καλώδια διακοπής MPO-to-QSFP-DD για συνδέσεις φύλλων ράχης για μείωση της πυκνότητας καλωδίων ή ενεργά οπτικά καλώδια (AOC) για αποστάσεις πέραν των 3 μέτρων. Ο920-9B210-00FN-0D0 προς πώλησηΣυνήθως περιλαμβάνει ένα ολοκληρωμένο κιτ αξεσουάρ, αλλά συνιστούμε την επικύρωση της συμβατότητας πομποδέκτη τρίτου κατασκευαστή μέσω της μήτρας διαλειτουργικότητας του προμηθευτή για την αποφυγή προβλημάτων εκπαίδευσης συνδέσεων.

5. Λειτουργίες, Παρακολούθηση & Διάγνωση Βλαβών

Η επιχειρησιακή αριστεία αποτελεί ακρογωνιαίο λίθο της920-9B210-00FN-0D0 Λύση OPN διακόπτη InfiniBand. Ο διακόπτης ενσωματώνεται άψογα με την πλατφόρμα UFM της NVIDIA, η οποία παρέχει:

• Παρακολούθηση υγείας υφάσματος σε πραγματικό χρόνο:Πίνακες εργαλείων για κατάσταση σύνδεσης, θερμοκρασία, κατανάλωση ενέργειας και μετρητές σφαλμάτων ανά θύρα (Σφάλματα CRC, σύμβολο και ευθυγράμμιση).
• Ανάλυση προγνωστικής αποτυχίας:Τα μοντέλα μηχανικής εκμάθησης στο UFM εντοπίζουν προληπτικά τα οπτικά που αποτυγχάνουν ή τις ζεύξεις που φθείρονται πριν προκαλέσουν αποτυχίες εργασίας.
• Αυτοματοποιημένη αντιμετώπιση προβλημάτων:Το σύστημα συνιστά διορθωτικές ενέργειες, όπως αλλαγή δρομολόγησης της κυκλοφορίας ή απομόνωση ελαττωματικών συνδέσμων, μειώνοντας σημαντικά τον μέσο χρόνο για την επίλυση (MTTR).

Για προηγμένα διαγνωστικά, ο διακόπτης υποστηρίζει sFlow και αντικατοπτρισμό θυρών, επιτρέποντας τη βαθιά επιθεώρηση πακέτων για εντοπισμό σφαλμάτων σε επίπεδο πρωτοκόλλου. Οι ομάδες μπορούν επίσης να έχουν πρόσβαση σε λεπτομέρειες920-9B210-00FN-0D0 προδιαγραφέςγια κατώφλια buffer και συνιστώμενες ρυθμίσεις, ιδιαίτερα για συντονισμό της κυκλοφορίας RoCEv2 εάν χρησιμοποιείται σε μικτά περιβάλλοντα InfiniBand/Ethernet. Ο συντονισμός απόδοσης θα πρέπει να επικεντρώνεται στα προσαρμοστικά κατώφλια δρομολόγησης και στα διαστήματα συγκέντρωσης SHARPv3, τα οποία μπορούν να προσαρμοστούν ανά φάση φόρτου εργασίας—για παράδειγμα, εκπαίδευση έναντι συμπερασμάτων.

Η τακτική συντήρηση περιλαμβάνει ενημερώσεις υλικολογισμικού, οι οποίες εκτελούνται με ελάχιστη διακοπή χρησιμοποιώντας την δυνατότητα κυλιόμενης αναβάθμισης του UFM και περιοδικό καθαρισμό των οπτικών βυσμάτων για τη διατήρηση της ακεραιότητας του σήματος. Η πλεονάζουσα τροφοδοσία και οι μονάδες ανεμιστήρα του διακόπτη επιτρέπουν αντικαταστάσεις hot-swap κατά τη λειτουργία.

6. Περίληψη & Εκτίμηση Αξίας

ΟMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0προσφέρει μια ολοκληρωμένη λύση για οργανισμούς που επιδιώκουν να ξεκλειδώσουν την πλήρη απόδοση των επενδύσεών τους σε AI και HPC. Συνδυάζοντας ταχύτητες NDR 400 Gb/s, υπολογιστές εντός δικτύου και έξυπνη διαχείριση συμφόρησης σε μια ενιαία, επεκτάσιμη πλατφόρμα, αντιμετωπίζει τις πιο πιεστικές προκλήσεις διασύνδεσης που αντιμετωπίζουν τα σημερινά κέντρα δεδομένων. Η αρχιτεκτονική που περιγράφεται παρέχει μια αποδεδειγμένη διαδρομή από πιλοτικά συμπλέγματα 128 κόμβων σε υφάσματα υπερυπολογιστών 2.000+ κόμβων, με λειτουργικά εργαλεία που απλοποιούν τη διαχείριση και μειώνουν το συνολικό κόστος ιδιοκτησίας.

Κατά την αξιολόγηση των920-9B210-00FN-0D0 τιμή, λάβετε υπόψη τη μακροπρόθεσμη αξία: οι μειωμένοι χρόνοι ολοκλήρωσης των εργασιών μεταφράζονται άμεσα σε χαμηλότερο κόστος στο cloud ή ταχύτερο χρόνο για την ενημέρωση για φόρτους εργασίας εντός της εγκατάστασης. Ο920-9B210-00FN-0D0 Λύση OPN διακόπτη InfiniBandυποστηρίζεται από το παγκόσμιο δίκτυο υποστήριξης της NVIDIA και το εκτεταμένο οικοσύστημα συνεργατών, διασφαλίζοντας ότι οι οργανισμοί μπορούν με σιγουριά να αναπτύξουν, να κλιμακώσουν και να βελτιστοποιήσουν την υποδομή τους για τα επόμενα χρόνια.

Για λεπτομερή προγραμματισμό, ανατρέξτε στον επίσημο920-9B210-00FN-0D0 φύλλο δεδομένωνκαι920-9B210-00FN-0D0 προδιαγραφέςέγγραφο, το οποίο περιλαμβάνει μηχανικά σχέδια, θερμικά προφίλ και σημεία αναφοράς απόδοσης.