NVIDIA Mellanox MCX653105A-HDAT σε Δράση: Μεταφορά RDMA/RoCE Χαμηλής Καθυστέρησης και Βελτιστοποίηση Απόδοσης Διακομιστών

NVIDIA Mellanox MCX653105A-HDAT σε Δράση: Μεταφορά RDMA/RoCE Χαμηλής Καθυστέρησης και Βελτιστοποίηση Απόδοσης Διακομιστών

Υπόβαθρο & Προκλήσεις: Το Σημείο Συμφόρησης του Δικτύου σε Συμπλέγματα AI/HPC

Μια μεγάλη τεχνολογική επιχείρηση ανέπτυξε πρόσφατα ένα σύμπλεγμα 128 κόμβων επιταχυνόμενο από GPU για την εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLM), με κάθε κόμβο εξοπλισμένο με οκτώ GPU NVIDIA H100 και αποθηκευτικό χώρο NVMe υψηλής απόδοσης. Ωστόσο, μετά την κλιμάκωση πέρα από τους 32 κόμβους, το σύμπλεγμα παρουσίασε δραματική υποβάθμιση της απόδοσης. Η καθυστέρηση στην επικοινωνία συλλογικής All-Reduce εκτοξεύτηκε σε 8-10 χιλιοστά του δευτερολέπτου, ενώ η στοίβα δικτύου TCP/IP κατανάλωνε πάνω από το 45% των πόρων της CPU ανά κόμβο. Το δίκτυο — που βασίζεται σε πολλαπλές συνδέσεις 25GbE — είχε γίνει το κύριο σημείο συμφόρησης, περιορίζοντας σοβαρά την αξιοποίηση της GPU και επεκτείνοντας τους κύκλους εκπαίδευσης πολύ πέρα από τα αποδεκτά χρονικά πλαίσια. Η ομάδα χρειαζόταν επειγόντως μια λύση ικανή να παρέχει τόσο εξαιρετικά χαμηλή καθυστέρηση όσο και τεράστιο εύρος ζώνης, ενώ παράλληλα να εκφορτώνει την επεξεργασία δικτύου που απαιτεί έντονη χρήση CPU.

Λύση & Ανάπτυξη: Μετασχηματισμός του Δικτύου με το MCX653105A-HDAT

Μετά από μια εξαντλητική τεχνική αξιολόγηση, η ομάδα επέλεξε το NVIDIA Mellanox MCX653105A-HDAT ως τη βάση για τον μετασχηματισμό του δικτύου της. Κάθε κόμβος GPU εξοπλίστηκε με μια κάρτα δικτύου PCIe MCX653105A-HDAT ConnectX, διαμορφωμένη με διπλή θύρα 100GbE συνδεσιμότητα για την παροχή 200 Gb/s συνολικού εύρους ζώνης ανά διακομιστή.

Η ανάπτυξη εκτελέστηκε σε τέσσερις δομημένες φάσεις:

• Φάση 1 — Εγκατάσταση Υλικού (128 κόμβοι): Κάθε διακομιστής έλαβε την κάρτα προσαρμογέα Ethernet MCX653105A-HDAT, με τις δύο θύρες QSFP28 συνδεδεμένες σε διπλούς εφεδρικούς διακόπτες NVIDIA Spectrum-4 leaf. Οι προσαρμογείς εγκαταστάθηκαν με το τελευταίο firmware και τη στοίβα οδηγών NVIDIA OFED.
• Φάση 2 — Διαμόρφωση RoCEv2: Η ομάδα ενεργοποίησε το RoCEv2 σε ολόκληρο το δίκτυο, συντονίζοντας προσεκτικά τις παραμέτρους Priority Flow Control (PFC) και Explicit Congestion Notification (ECN) για τη δημιουργία ενός περιβάλλοντος Ethernet χωρίς απώλειες. Τα προηγμένα χαρακτηριστικά διαχείρισης συμφόρησης που περιγράφονται στο φύλλο δεδομένων MCX653105A-HDAT ήταν ουσιαστικής σημασίας για την επίτευξη βέλτιστης κατανομής των buffers.
• Φάση 3 — Βελτιστοποίηση NCCL: Η βιβλιοθήκη NVIDIA Collective Communications Library (NCCL) επαναδιαμορφώθηκε για να αξιοποιήσει τις δυνατότητες RDMA του προσαρμογέα, με προσαρμοσμένους κανόνες δρομολόγησης κίνησης προγραμματισμένους στις ενσωματωμένες μηχανές επεξεργασίας του προσαρμογέα για βελτιστοποίηση στα συγκεκριμένα μοτίβα all-reduce και all-gather του φόρτου εργασίας LLM.
• Φάση 4 — Επικύρωση & Λεπτομερής Ρύθμιση: Χρησιμοποιώντας τα δεδομένα τηλεμετρίας που εκτίθενται μέσω των προδιαγραφών MCX653105A-HDAT, η ομάδα επικύρωσε τη διαμόρφωση, ρύθμισε λεπτομερώς τις ρυθμίσεις τροποποίησης διακοπών και καθόρισε βασικές μετρήσεις απόδοσης για συνεχή παρακολούθηση.

Αξίζει να σημειωθεί ότι ο προσαρμογέας αποδείχθηκε συμβατός με το MCX653105A-HDAT με την υπάρχουσα καλωδίωση, καθώς οι θύρες QSFP28 υποστήριζαν οπτικά 100GbE και 25GbE, επιτρέποντας μια ομαλή μετάβαση χωρίς διακοπτική αντικατάσταση καλωδίων. Η ομάδα αξιοποίησε επίσης τις δυνατότητες πολλαπλών διακομιστών του προσαρμογέα για την υποστήριξη λειτουργιών υπολογιστικής και αποθήκευσης στην ίδια φυσική θύρα.

Αποτελέσματα & Οφέλη: Μετρήσιμα Κέρδη στην Απόδοση Εκπαίδευσης

Οι βελτιώσεις στην απόδοση που προσέφερε το NVIDIA Mellanox MCX653105A-HDAT ξεπέρασαν όλες τις αρχικές προβλέψεις. Οι βασικές μετρήσεις απόδοσης πριν και μετά την αναβάθμιση συνοψίζονται παρακάτω:

Πέρα από αυτά τα ποσοτικά επιτεύγματα, η ομάδα παρατήρησε σημαντικά λειτουργικά οφέλη. Οι εκπαιδεύσεις που προηγουμένως απαιτούσαν 12 ημέρες ολοκληρώθηκαν σε μόλις 4 ημέρες, επιταχύνοντας δραματικά τους κύκλους επανάληψης μοντέλων. Η προγραμματιζόμενη διαδρομή δεδομένων του προσαρμογέα επέτρεψε την προσαρμοσμένη διαμόρφωση κίνησης για ροές προτεραιότητας, διασφαλίζοντας ότι η κρίσιμη κίνηση συλλογικής επικοινωνίας δεν αντιμετώπιζε ποτέ ανταγωνισμό. Για οργανισμούς που αξιολογούν την απόδοση επένδυσης, η τιμή MCX653105A-HDAT αποδείχθηκε πλήρως δικαιολογημένη από την 3× αύξηση της απόδοσης και τη δυνατότητα αναβολής πρόσθετων αγορών διακομιστών GPU για τουλάχιστον 12 μήνες. Η ομάδα σημείωσε ότι οι MCX653105A-HDAT προς πώληση σε πακέτα με διακόπτες NVIDIA Spectrum-4 προσέφεραν την πιο ευνοϊκή οικονομία για πλήρη ανάπτυξη συμπλέγματος.

Σύνοψη & Προοπτικές: Μια Βάση για Υποδομές AI Επόμενης Γενιάς

Αυτή η ανάπτυξη σε κλίμακα παραγωγής επικυρώνει ότι το NVIDIA Mellanox MCX653105A-HDAT είναι ένα μετασχηματιστικό στοιχείο για σύγχρονα συμπλέγματα AI και HPC. Ο συνδυασμός 200 Gb/s συνολικού εύρους ζώνης, καθυστέρησης συλλογικής επικοινωνίας κάτω των 0.3 χιλιοστών του δευτερολέπτου και ολοκληρωμένων εκφορτώσεων υλικού επιτρέπει στους οργανισμούς να επιτύχουν σχεδόν γραμμική κλιμάκωση για φόρτους εργασίας επιταχυνόμενους από GPU. Ως μια ολοκληρωμένη λύση κάρτας προσαρμογέα Ethernet MCX653105A-HDAT, εξαλείφει το σημείο συμφόρησης του δικτύου που ιστορικά έχει περιορίσει την αποδοτικότητα της κατανεμημένης εκπαίδευσης.

Κοιτάζοντας προς το μέλλον, η επιχείρηση διερευνά την ενσωμάτωση με το NVIDIA DOCA για την υλοποίηση πρόσθετης προγραμματιστικής δυνατότητας διαδρομής δεδομένων για βελτιστοποίηση ειδικά για φόρτους εργασίας. Επίσης, αξιοποιεί την προηγμένη τηλεμετρία του προσαρμογέα — εκτενώς τεκμηριωμένη στο φύλλο δεδομένων MCX653105A-HDAT — για τη δημιουργία προγνωστικών μοντέλων απόδοσης και αυτοματοποιημένων στρατηγικών μετριασμού της συμφόρησης. Το NVIDIA Mellanox MCX653105A-HDAT έχει γίνει ο ακρογωνιαίος λίθος του οδικού χάρτη υποδομής AI, παρέχοντας μια ισχυρή, επεκτάσιμη βάση για την επόμενη γενιά ανάπτυξης και ανάπτυξης θεμελιωδών μοντέλων.