NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch σε δράση: Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch σε Δράση: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA/HPC/AI

Στην εκπαίδευση AI, τις προσομοιώσεις υψηλής απόδοσης (HPC) και την αποθήκευση μεγάλης κλίμακας, η καθυστέρηση δικτύου και το εύρος ζώνης συχνά καθορίζουν το ανώτατο όριο της αποδοτικότητας του συμπλέγματος. Για να βοηθήσει τους οργανισμούς να ξεπεράσουν αυτό το σημείο συμφόρησης, ο διακόπτης InfiniBand MQM9790-NS2F από την NVIDIA Mellanox γίνεται ένα βασικό στοιχείο διασύνδεσης σε πολλές αναπτύξεις AI και HPC. Αυτό το άρθρο παρουσιάζει μια αναβάθμιση πραγματικού κόσμου ενός συμπλέγματος εκπαίδευσης AI μεγάλης κλίμακας, απεικονίζοντας πώς αυτός ο διακόπτης προσφέρει δίκτυα RDMA χαμηλής καθυστέρησης και μετρήσιμα κέρδη απόδοσης.

Υπόβαθρο & Πρόκληση: Πίεση Δικτύου από Χίλια GPU σε Δέκα Χιλιάδες GPU

Ένα κορυφαίο ερευνητικό ίδρυμα λειτουργούσε προηγουμένως ένα σύμπλεγμα χιλίων GPU για εκπαίδευση μοντέλων μεγάλης γλώσσας και προσομοίωση καιρού. Καθώς οι παράμετροι του μοντέλου αυξήθηκαν από δεκάδες δισεκατομμύρια σε εκατοντάδες δισεκατομμύρια, το υπάρχον δίκτυο InfiniBand 200Gb/s HDR άρχισε να παρουσιάζει συμφόρηση και αυξανόμενο λειτουργικό κόστος επικοινωνίας. Οι λειτουργίες All-Reduce μεταξύ κόμβων άρχισαν να διαρκούν σημαντικά περισσότερο, και οι GPU συχνά παρέμεναν ανενεργές περιμένοντας μεταφορές δικτύου. Οι αρχιτέκτονες χρειάζονταν επειγόντως μια λύση που να προσφέρει υψηλότερη πυκνότητα θυρών, λεπτομερέστερη κατανομή φορτίου και πλήρη συμβατότητα με την υπάρχουσα υποδομή RDMA.

Μετά από ενδελεχή αξιολόγηση, η ομάδα επέλεξε ένα δίκτυο InfiniBand βαθμίδας NDR βασισμένο στον NVIDIA Mellanox MQM9790-NS2F. Με 64 θύρες OSFP, καθεμία λειτουργώντας με ταχύτητα γραμμής 400Gb/s, ο διακόπτης ταιριάζει απόλυτα με τις απαιτήσεις απόδοσης των διακομιστών GPU επόμενης γενιάς.

Λύση & Ανάπτυξη: Δίκτυο NDR + Απωλεστικό Δίκτυο RDMA

Στο νέο σχεδιασμό, κάθε διακομιστής GPU είναι εξοπλισμένος με προσαρμογείς ConnectX-7 διπλής θύρας, οι οποίοι συνδέονται σε δύο διακόπτες leaf. Στον πυρήνα, οι διακόπτες MQM9790-NS2F 400Gb/s NDR 64-port OSFP σχηματίζουν μια διστρωματική τοπολογία Fat-Tree χρησιμοποιώντας μια αρχιτεκτονική Clos χωρίς μπλοκάρισμα. Η προσαρμοστική δρομολόγηση και ο έλεγχος συμφόρησης είναι ενεργοποιημένα, αξιοποιώντας το εγγενές InfiniBand RDMA για τη μεταφορά δεδομένων απευθείας από τη μνήμη GPU σε απομακρυσμένη μνήμη GPU, παρακάμπτοντας την επιβάρυνση της CPU και της στοίβας λογισμικού.

• Χρήση θυρών & συμβατότητα: Οι υπάρχοντες προσαρμογείς HDR μπορούν να λειτουργήσουν με μειωμένη ταχύτητα, προστατεύοντας προηγούμενες επενδύσεις. Η λίστα MQM9790-NS2F συμβατό καλύπτει κύριους διακομιστές GPU και συστήματα αποθήκευσης, απαιτώντας τροποποιήσεις οδηγών κατά την ανάπτυξη.
• Έξυπνες λειτουργίες: Η ενσωματωμένη τηλεμετρία παρακολουθεί σφάλματα σύνδεσης και συμφόρηση σε πραγματικό χρόνο, βοηθώντας τις ομάδες να απομονώσουν γρήγορα προβλήματα οπτικών μονάδων ή καλωδίων και μειώνοντας δραστικά τον μέσο χρόνο επισκευής.

Αποτελέσματα & Οφέλη: Χρόνος Επανάληψης Εκπαίδευσης Μειώθηκε κατά 38%, Λειτουργικό Κόστος Δικτύου Μειώθηκε στο 8%

Μετά την αναβάθμιση, το ίδρυμα πραγματοποίησε συγκριτικές δοκιμές σε παραγωγικά φορτία εργασίας. Σε μια εργασία προ-εκπαίδευσης τύπου GPT με 100 δισεκατομμύρια παραμέτρους, το σύμπλεγμα που βασίζεται στον MQM9790-NS2F InfiniBand switch μείωσε τον χρόνο επανάληψης από 2,8 δευτερόλεπτα σε 1,73 δευτερόλεπτα — βελτίωση 38%. Το μερίδιο της επικοινωνίας δικτύου στη συνολική καθυστέρηση μειώθηκε από 22% σε 8%, πράγμα που σημαίνει ότι οι GPU αφιέρωσαν σημαντικά περισσότερο χρόνο σε χρήσιμους υπολογισμούς. Χάρη στην υπολογιστική εντός δικτύου SHARPv3 μέσα στον διακόπτη NDR, η αξιοποίηση του εύρους ζώνης All-Reduce σχεδόν διπλασιάστηκε.

Στην πλευρά της αποθήκευσης, το NVMe χαμηλής καθυστέρησης μέσω InfiniBand αύξησε το συνολικό εύρος ζώνης ανάγνωσης/εγγραφής του παράλληλου συστήματος αρχείων κατά 2,3 φορές. Οι χρόνοι αποθήκευσης και επαναφοράς σημείων ελέγχου μειώθηκαν από 12 λεπτά σε λιγότερο από 5 λεπτά. Αυτά τα στοιχεία καταγράφονται σε εσωτερικές αναφορές δοκιμών και ευθυγραμμίζονται με τη βασική γραμμή των MQM9790-NS2F specifications.

Σύνοψη & Προοπτικές: Το Δίκτυο NDR ως η Προεπιλεγμένη Επιλογή για Υποδομές AI Επόμενης Γενιάς

Αυτή η περίπτωση καταδεικνύει σαφώς ότι για συμπλέγματα RDMA/HPC/AI μεγάλης κλίμακας, η υιοθέτηση της MQM9790-NS2F InfiniBand switch solution εξαλείφει αποτελεσματικά τη συμφόρηση του δικτύου, αυξάνει την αξιοποίηση των GPU και απλοποιεί τις λειτουργίες. Για αρχιτέκτονες που σχεδιάζουν συμπλέγματα δέκα χιλιάδων GPU, το MQM9790-NS2F datasheet είναι μια απαραίτητη αναφορά για την αξιολόγηση της ισχύος, της πυκνότητας θυρών και των χαρακτηριστικών. Το μοντέλο βρίσκεται πλέον σε μαζική παραγωγή. Για ερωτήσεις σχετικά με την MQM9790-NS2F price ή MQM9790-NS2F for sale, παρακαλούμε επικοινωνήστε με εξουσιοδοτημένους συνεργάτες της NVIDIA. Καθώς τα μελλοντικά φορτία εργασίας οδηγούν τη ζήτηση προς τα 800Gb/s και πέρα, η πλατφόρμα μεταγωγής NDR θα συνεχίσει να διαδραματίζει κεντρικό ρόλο στην απελευθέρωση του υπολογιστικού δυναμικού.