Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch Τεχνική Λύση

Αυτή η τεχνική λευκή βίβλος παρέχει στους αρχιτέκτονες, στους μηχανικούς προπωλήσεων και στις ομάδες επιχειρήσεων ένα ολοκληρωμένο σχέδιο αναφοράς με επίκεντρο τοMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Διακόπτης InfiniBand. Η λύση αντιμετωπίζει τις πιο πιεστικές προκλήσεις στα σύγχρονα περιβάλλοντα AI και HPC: λανθάνουσα κατάσταση που προκαλείται από το δίκτυο, περιορισμοί συμφόρησης και επεκτασιμότητας των παραδοσιακών υφασμάτων Ethernet.

1. Ανάλυση Ιστορικού & Απαιτήσεων Έργου

Οργανισμοί που αναπτύσσουν συμπλέγματα GPU μεγάλης κλίμακας για εκπαίδευση μεγάλων γλωσσικών μοντέλων, προσομοιώσεις μοριακής δυναμικής ή πρόβλεψη καιρού αντιμετωπίζουν ένα κοινό σημείο συμφόρησης: τον ιστό διασύνδεσης. Το συμβατικό Ethernet με απώλειες δεν μπορεί να εγγυηθεί τον ντετερμινιστικό λανθάνοντα χρόνο που απαιτείται για αποτελεσματικές συλλογικές λειτουργίες all-reduce και all-to-all. Οι βασικές απαιτήσεις που προσδιορίζονται από τις πραγματικές αναπτύξεις περιλαμβάνουν:

• Καθυστερημένη καθυστέρηση κάτω από 1μs για φόρτους εργασίας MPI ευαίσθητους σε καθυστέρηση
• Χωρίς απώλειες, ρυθμός γραμμής 400 Gb/s ανά θύρα χωρίς αποκλεισμό head-of-line
• Υπολογισμός εντός δικτύου για εκφόρτωση συλλογικών λειτουργιών από κεντρικούς επεξεργαστές
• Απρόσκοπτη επεκτασιμότητα από 8 έως 2.000+ κόμβους GPU χωρίς επανααρχιτεκτονική υφάσματος

Αυτές οι απαιτήσεις οδήγησαν την ομάδα σχεδιασμού μας να επιλέξει το920-9B210-00FN-0D0ως το θεμελιώδες δομικό στοιχείο για το ύφασμα χαμηλής καθυστέρησης επόμενης γενιάς.

2. Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύων/Συστήματος

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία φύλλου-ράχης δύο επιπέδων βελτιστοποιημένη για εύρος ζώνης χωρίς αποκλεισμό, πλήρους διχοτόμησης. Όλοι οι κόμβοι υπολογιστών (διακομιστές GPU, συσκευές αποθήκευσης, κεντρικοί υπολογιστές διαχείρισης) συνδέονται με διακόπτες φύλλων, ενώ οι διακόπτες σπονδυλικής στήλης παρέχουν σύνδεση μεταξύ των φύλλων από οποιαδήποτε προς οποιαδήποτε. Αυτός ο σχεδιασμός εξαλείφει την υπερεγγραφή και εξασφαλίζει προβλέψιμο λανθάνοντα χρόνο ανεξάρτητα από τα μοτίβα επικοινωνίας.

Για ένα σύμπλεγμα αναφοράς 512-GPU, αναπτύσσουμε 16 διακόπτες φύλλων και 8 διακόπτες σπονδυλικής στήλης, ο καθένας είναι οNVIDIA Mellanox 920-9B210-00FN-0D0. Οι σύνδεσμοι φύλλου-ράχης λειτουργούν στα 400 Gb/s NDR, με αποτέλεσμα το συνολικό εύρος ζώνης υφάσματος να υπερβαίνει τα 200 Tb/s. Οι αλγόριθμοι προσαρμοστικής δρομολόγησης (AR) και ελέγχου συμφόρησης είναι ενεργοποιημένοι σε όλες τις θύρες για δυναμική εξισορρόπηση της κυκλοφορίας και αποφυγή σημείων πρόσβασης κατά τη διάρκεια συμβάντων που εκπέμπονται.

3. Ο ρόλος του 920-9B210-00FN-0D0 & των βασικών διαφοροποιητών

Ο920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΟ διακόπτης χρησιμεύει και ως φύλλο και ως ράχη, παρέχοντας σταθερή απόδοση σε ολόκληρο το ύφασμα. Τα κρίσιμα αρχιτεκτονικά του πλεονεκτήματα περιλαμβάνουν:

Οι μηχανικοί που αξιολογούν την προμήθεια θα βρουν το920-9B210-00FN-0D0 Διακόπτης InfiniBand OPN(παραγγελία ανταλλακτικού) απλοποιεί την προσφορά και την παράδοση. Για επικύρωση διαλειτουργικότητας, το920-9B210-00FN-0D0 φύλλο δεδομένωνκαι920-9B210-00FN-0D0 προδιαγραφέςπαρέχουν λεπτομερείς πίνακες συμβατότητας με ConnectX-7, BlueField-3 DPU και συσκευές αποθήκευσης τρίτων.

4. Συστάσεις ανάπτυξης και κλιμάκωσης

Συνιστούμε μια προσέγγιση σταδιακής ανάπτυξης για την ελαχιστοποίηση της διακοπής της παραγωγής:

• Φάση 1 (Πιλοτικό):8 έως 16 κόμβοι GPU + 2920-9B210-00FN-0D0διακόπτες (τοπολογία μονής ράγας). Επικυρώστε την απόδοση RDMA και συλλέξτε μετρήσεις βάσης.
• Φάση 2 (Μερική παραγωγή):Κλιμακώστε σε 128 GPU χρησιμοποιώντας 4 φύλλα + 2 αγκάθια. Ενεργοποιήστε την προσαρμοστική δρομολόγηση και το SHARPv3.
• Φάση 3 (Πλήρης παραγωγή):Αναπτύξτε 16 φύλλα + 8 ακίδες για 512+ GPU. Εισαγάγετε τη δρομολόγηση πολλαπλών διαδρομών και τη διαμέριση υφάσματος χρησιμοποιώντας NVIDIA UFM.

Για καλωδίωση, χρησιμοποιήστε ενεργά οπτικά καλώδια (AOC) ή ενεργά καλώδια χαλκού για διαδρομές κάτω των 5 μέτρων. για μακρύτερες ράβδους ή συνδέσεις cross-rack, αναπτύξτε πομποδέκτες NDR 400 Gb/s με οπτική ίνα μίας λειτουργίας. Όλες οι θύρες στοΣυμβατό με 920-9B210-00FN-0D0το οικοσύστημα υποστηρίζει την αυτόματη διαπραγμάτευση μεταξύ τρόπων λειτουργίας 400Gb/s και 200Gb/s.

5. Λειτουργίες, παρακολούθηση & αντιμετώπιση προβλημάτων

Η ετοιμότητα παραγωγής απαιτεί ισχυρή παρατηρησιμότητα. Ενσωματώνουμε το920-9B210-00FN-0D0 Λύση OPN διακόπτη InfiniBandμε NVIDIA Unified Fabric Manager (UFM). Οι βασικές επιχειρησιακές δυνατότητες περιλαμβάνουν:

• Τηλεμετρία σε πραγματικό χρόνο:Μετρητές ανά θύρα, ιστογράμματα καθυστέρησης, κατάληψη buffer και ειδοποιήσεις συμφόρησης που εξάγονται μέσω του Prometheus/Graphite.
• Αυτοματοποιημένη αποτυχία:Αναδρομολόγηση δευτερεύοντος συνδέσμου σε περίπτωση βλάβης του καλωδίου ή του πομποδέκτη.
• Διαγνωστικά απόδοσης:Ενσωματωμένοι μετρητές απόδοσης SHARP και εργαλεία ανάλυσης υφασμάτων για τον εντοπισμό κόμβων με αργή αποστράγγιση.

Για κοινά ζητήματα, ανατρέξτε στο920-9B210-00FN-0D0 φύλλο δεδομένωνγια κωδικούς σφαλμάτων και προτεινόμενες διορθωτικές ενέργειες. Όταν σχεδιάζετε προσθήκες χωρητικότητας, συμβουλευτείτε το920-9B210-00FN-0D0 τιμήμοντέλα για συμβιβασμούς μεταξύ της επέκτασης μόνο σε φύλλα και πλήρους ράχης.

6. Περίληψη & Εκτίμηση Αξίας

ΟNVIDIA Mellanox 920-9B210-00FN-0D0Η λύση που βασίζεται σε ντετερμινιστικό λανθάνοντα χρόνο μικρότερου δευτερολέπτου, απόδοση 400 Gb/s χωρίς απώλειες και επιτάχυνση υπολογιστών εντός δικτύου για συμπλέγματα RDMA/HPC/AI. Σε σύγκριση με εναλλακτικά σχέδια Ethernet 400 Gb, αυτό το ύφασμα InfiniBand επιτυγχάνει 2,5 φορές χαμηλότερο λανθάνοντα χρόνο και εξαλείφει έως και το 90% της συλλογικής κίνησης μέσω του SHARPv3. Για οργανισμούς που αξιολογούν το920-9B210-00FN-0D0 προς πώλησηεπιλογές, το συνολικό κόστος ιδιοκτησίας συνήθως ανακτάται εντός 6-12 μηνών μέσω υψηλότερης χρήσης GPU και μειωμένων χρόνων ολοκλήρωσης εργασίας. Συνιστούμε την άμεση πιλοτική ανάπτυξη για οποιαδήποτε νέα ή κλιμακούμενη υποδομή τεχνητής νοημοσύνης.