Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch σε δράση Ω βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA / HPC

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch σε δράση Ω βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA / HPC / AI Clusters

Καθώς τα clusters εκπαίδευσης τεχνητής νοημοσύνης κλιμακώνονται από χιλιάδες σε δεκάδες χιλιάδες GPU, η καθυστέρηση δικτύου και ο έλεγχος συμφόρησης γίνονται οι αποφασιστικοί παράγοντες στην αποτελεσματική αξιοποίηση υπολογιστών.Ένας κορυφαίος παγκόσμιος οργανισμός έρευνας για την τεχνητή νοημοσύνη πρόσφατα χρησιμοποίησε τοMellanox (NVIDIA Mellanox) MQM9790-NS2FΗ Εpiιτροpiή piροτείνει τη δημιουργία νέων εpiιχειρηάτων για την piροώθηση της εpiιχειρηατικότητας των εpiιχειρηατικών εpiιχειρηατικών.Το άρθρο αυτό εξετάζει την πραγματική ανάπτυξη, που περιγράφει λεπτομερώς πώς αυτός ο διακόπτης InfiniBand μεταμορφώνει τη μεταφορά RDMA, την επικοινωνία HPC και τα υφάσματα παράλληλης εκπαίδευσης δεδομένων AI.

Προηγούμενο & Προκλήσεις: Από το συμβιβασμό του Ethernet στην επιτακτική ανάγκη διασύνδεσης χωρίς απώλειες

Ο οργανισμός βασίστηκε αρχικά σε ένα υλικό Ethernet 100GbE με RoCEv2.αντιμετώπισαν μόνιμα αδιέξοδα PFC, περίπλοκη ρύθμιση ECN, και περιστασιακές πτώσεις πακέτων που προκάλεσαν στάσεις εκπαίδευσης.Τα προβλήματα αυτά επέκτειναν τον μέσο χρόνο ολοκλήρωσης εργασίας κατά περισσότερο από 35% και κατανάλωναν σημαντική μηχανική προσπάθεια στην αντιμετώπιση προβλημάτων στο δίκτυοΗ υφιστάμενη υποδομή δεν μπορούσε πλέον να παρέχει την καθοριστική καθυστέρηση σε επίπεδο μικροδευτερόλεπτου και τη διακίνηση χωρίς συμφόρηση που απαιτούνται για μαζικές συλλογικές λειτουργίες all-reduce και all-to-all.

Λύση & Εφαρμογή:MQM9790-NS2F InfiniBand Switchως η ραχοκοκαλιά του υφάσματος

Μετά την αξιολόγηση πολλαπλών εναλλακτικών λύσεων, η ομάδα επέλεξε τοNVIDIA Mellanox MQM9790-NS2FΚάθε ράφι φύλλων είναι εξοπλισμένο με δύοMQM9790-NS2F 400Gb/s NDR 64-port OSFPδιακόπτες, που παρέχουν 64 θύρες OSFP ανά μονάδα και συνολική χωρητικότητα διακόπτη 25,6 Tb/s. Η ταχύτητα NDR 400 Gb/s ανά θύρα, σε συνδυασμό με διακόπτη διακόπτη και προσαρμοστική δρομολόγηση,Επιτρέπει καθυστέρηση από θύρα σε θύρα μικρότερη των 600 ns, μια κρίσιμη απαίτηση για τα βαριά φορτία εργασίας με GPUΗ ανάπτυξη αξιοποιήθηκε από τηνMQM9790-NS2F Λύση διακόπτη InfiniBandενσωματωμένο με firmware NVIDIA Quantum‐2, εξασφαλίζοντας απρόσκοπτηΣυμβατό με το MQM9790-NS2Fλειτουργία με υφιστάμενους προσαρμογείς ConnectX‐7 και DPU BlueField‐3.

Οι βασικές επιλογές ανάπτυξης περιλαμβάνουν:

• Τοπολογία:Μη αποκλειστικό δέντρο λίπους με 64 θύρες OSFP έως 400G οπτικούς δέκτες, επιτρέποντας πλήρες εύρος ζώνης διχασμού για όλους τους κόμβους GPU.
• Διοίκηση:NVIDIA UFM (Unified Fabric Manager) για τηλεμετρία σε πραγματικό χρόνο, ανίχνευση συμφόρησης και προληπτική ανακατεύθυνση διαδρομής.
• Συλλογική εκφόρτωση:Το SHARPv3 επέτρεψε να επιταχύνει όλες τις λειτουργίες μείωσης, αποφορτώνοντας την επικοινωνία από τις CPU host.

Για να διασφαλιστεί η ομαλή μετάβαση, η ομάδα διαβούλευσε με τηνΔελτίο δεδομένων MQM9790-NS2FκαιΠροδιαγραφές MQM9790-NS2FΟ συντελεστής μορφής 1U και οι περιττές πηγές ρεύματος ταιριάζουν ομαλά στην υπάρχουσα πυκνότητα των ράκ και οι θύρες OSFP υποστηρίζουν τόσο τα καλώδια DAC όσο και τις οπτικές ενότητες,προσφέροντας ευελιξία για μελλοντική επέκταση.

Μετρούμενα αποτελέσματα και οφέλη ∆ ποσοτικοποιήσιμα κέρδη στην απόδοση και την αποτελεσματικότητα

Μετά την πλήρη ανάπτυξη και βελτιστοποίηση, ο οργανισμός κατέγραψε σημαντικές βελτιώσεις σε πολλαπλές διαστάσεις:

Εκτός από τους πρώτους αριθμούς, η ομάδα ανέφερε σχεδόν μηδενικές διακοπές που σχετίζονται με την συμφόρηση, απλοποιώντας σημαντικά τις λειτουργίες του δικτύου.NVIDIA Mellanox MQM9790-NS2FΕπιπλέον, η λειτουργία της ECN δεν θα μπορούσε να είναι πιο εύκολη από ό,τι η λειτουργία τηςMQM9790-NS2F Διακόπτης InfiniBandΠαρέχουν καθοριστικές επιδόσεις ακόμη και κάτω από 95% αξιοποίηση σύνδεσης, ένα κατόρθωμα αδύνατο με την προηγούμενη ρύθμιση Ethernet.

Η οργάνωση σημείωσε επίσης ότι ηΑξία MQM9790-NS2F, όταν αποσβέστηκε κατά τη διάρκεια του 5ετούς κύκλου ζωής, αντισταθμίστηκε από τη μειωμένη κατανάλωση ενέργειας ανά θύρα (≈1,5W ανά θύρα 400G) και τα χαμηλότερα κόστη καλωδίωσης λόγω της υψηλότερης πυκνότητας θύρας.Με γενική διαθεσιμότητα τώρα ώριμη, επιβεβαίωσαν ότιMQM9790-NS2F προς πώλησηΕιδικότερα, ηΔελτίο δεδομένων MQM9790-NS2Fπαρέχουν όλες τις απαραίτητες λεπτομέρειες εγκατάστασης και συμμόρφωσης.

Συνοπτική & Προοπτικές ∆ιαγράμματα για τις υποδομές τεχνητής νοημοσύνης επόμενης γενιάς

Η υιοθέτηση τηςMellanox (NVIDIA Mellanox) MQM9790-NS2FΗ μελέτη που πραγματοποιήθηκε στο πλαίσιο του προγράμματος HPC/AI σε μεγάλη κλίμακα δείχνει ότι ένα ειδικά κατασκευασμένο υλικό InfiniBand δεν είναι πλέον μια πολυτέλεια, αλλά μια αναγκαιότητα για οργανισμούς που σπρώχνουν τα όρια της τεχνητής νοημοσύνης και της επιστημονικής πληροφορικής.Παρέχοντας συνεπή υπο-μικροδευτερόλεπτο καθυστέρηση, χωρίς απώλεια RDMA μεταφορά, και επιτάχυνση υπολογιστών στο δίκτυο, ηMQM9790-NS2F 400Gb/s NDR 64-port OSFPΤο switch επιτρέπει στα κέντρα δεδομένων να επιτύχουν σχεδόν γραμμική επεκτασιμότητα έως δεκάδες χιλιάδες GPU.

Αναζητώντας το μέλλον, η ομάδα σχεδιάζει να επεκτείνει το ύφασμα με πρόσθετεςMQM9790-NS2F Διακόπτης InfiniBandΟι νέες μονάδες θα υποστηρίξουν τα επερχόμενα φορτία εργασίας exascale, συμπεριλαμβανομένης της κλιματικής μοντελοποίησης και της γονιδιωματικής.Συμβατό με το MQM9790-NS2FΓια τους αρχιτέκτονες και τους διαχειριστές πληροφορικής που αξιολογούν παρόμοιες αναβαθμίσεις, αυτή η πραγματική περίπτωση επιβεβαιώνει ότι ηMQM9790-NS2F Λύση διακόπτη InfiniBandπροσφέρει μια αποδεδειγμένη, οικονομικά αποδοτική πορεία για υψηλής απόδοσης, χαμηλής καθυστέρησης δίκτυα συστάσεων ∙ ένα κρίσιμο παράγοντα για την επόμενη δεκαετία της καινοτομίας στην ΤΝ.