NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch σε Δράση: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA/HPC/AI

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch σε Δράση: Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA/HPC/AI

Στον τομέα της εκπαίδευσης μοντέλων AI μεγάλης κλίμακας και της υπολογιστικής υψηλών επιδόσεων (HPC), η καθυστέρηση δικτύου γίνεται συχνά το κρίσιμο σημείο συμφόρησης που περιορίζει την επεκτασιμότητα και την αποδοτικότητα του συμπλέγματος. Ένα υπερυπολογιστικό κέντρο εθνικού επιπέδου ολοκλήρωσε πρόσφατα μια σημαντική αναβάθμιση υποδομής, μεταβαίνοντας από ένα δίκτυο EDR InfiniBand 100Gb/s σε μια λύση HDR 200Gb/s που βασίζεται στον NVIDIA Mellanox MQM8790-HS2F. Αυτή η μελέτη περίπτωσης εξετάζει τις προκλήσεις που αντιμετώπισαν, τη στρατηγική ανάπτυξης και τα μετρήσιμα κέρδη απόδοσης που επιτεύχθηκαν μέσω αυτής της διασύνδεσης επόμενης γενιάς.

Υπόβαθρο και Προκλήσεις: Όταν η Καθυστέρηση Γίνεται το Ταβάνι της Απόδοσης

Το υπερυπολογιστικό κέντρο διαχειρίζεται ένα ετερογενές σύμπλεγμα που αποτελείται από πάνω από 2.000 κόμβους GPU, υποστηρίζοντας ένα ποικίλο μείγμα φόρτων εργασίας που περιλαμβάνει προσομοίωση καιρού, γονιδιωματική έρευνα και εκπαίδευση μεγάλων γλωσσικών μοντέλων. Με το προηγούμενο δίκτυο EDR 100Gb/s, η ομάδα λειτουργίας παρατήρησε ότι οι λειτουργίες συλλογικής επικοινωνίας —όπως all-reduce και all-gather— κατανάλωναν ένα αυξανόμενο μερίδιο του συνολικού χρόνου εκτέλεσης εργασιών καθώς αυξάνονταν ο αριθμός των κόμβων. Σε ορισμένες εργασίες κατανεμημένης εκπαίδευσης, το σχετικό με το δίκτυο κόστος αντιπροσώπευε σχεδόν το 40% του συνολικού χρόνου εκτέλεσης, περιορίζοντας σοβαρά την αξιοποίηση των GPU και παρατείνοντας τους κύκλους σύγκλισης των μοντέλων.

Πρόσθετες προκλήσεις περιλάμβαναν:

• Σημεία συμφόρησης: Τα μοτίβα κυκλοφορίας στην εκπαίδευση AI είναι συχνά εκρηκτικά και απρόβλεπτα, οδηγώντας σε blocking στην αρχή της ουράς και αιχμές καθυστέρησης στην ουρά που διέκοπταν τον προγραμματισμό εργασιών.
• Ανεπαρκής επιτάχυνση εντός του δικτύου: Το παλιό δίκτυο δεν υποστήριζε προηγμένες δυνατότητες εκφόρτωσης συλλογικών λειτουργιών, αναγκάζοντας όλες τις λειτουργίες μείωσης να διασχίζουν την κεντρική μονάδα επεξεργασίας του κεντρικού υπολογιστή και την ιεραρχία μνήμης.
• Πολυπλοκότητα διαχείρισης: Η αντιμετώπιση προβλημάτων απόδοσης απαιτούσε χειροκίνητη ανάλυση πολλαπλών εργαλείων παρακολούθησης, καθιστώντας δύσκολο τον εντοπισμό των βασικών αιτιών σε αναπτύξεις μεγάλης κλίμακας.

Αφού αξιολόγησε πολλαπλές επιλογές διασύνδεσης, το κέντρο επέλεξε τον MQM8790-HS2F ως τη βάση για το νέο του δίκτυο. Σύμφωνα με το φύλλο δεδομένων MQM8790-HS2F, αυτός ο διακόπτης παρέχει 40 θύρες 200Gb/s HDR μη-μπλοκαρίσματος, καθυστέρηση cut-through κάτω των 130ns και υποστήριξη για SHARP v3.0 collective offload — δυνατότητες που αντιμετώπισαν άμεσα τα βασικά τους προβλήματα.

Λύση και Ανάπτυξη: Δημιουργία Δικτύου Χαμηλής Καθυστέρησης για AI/HPC

Η ανάπτυξη υιοθέτησε μια αρχιτεκτονική two-tier fat-tree, με 24 διακόπτες MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 να αναπτύσσονται ως κόμβοι φύλλων (leaf) και 8 μονάδες ως κόμβοι ράχης (spine). Αυτή η διαμόρφωση παρείχε 2:1 υπερ-υποσύνδεση σε ολόκληρο το σύμπλεγμα — επαρκής για τον τρέχοντα φόρτο εργασίας τους, ενώ επέτρεπε περιθώριο για μελλοντική επέκταση.

Κάθε κόμβος φύλλου συνδέεται με κόμβους υπολογιστών μέσω καρτών διαύλου κεντρικού υπολογιστή NVIDIA ConnectX-6 HDR. Το οικοσύστημα οπτικών και καλωδίων συμβατό με MQM8790-HS2F επέτρεψε στην ομάδα να επαναχρησιμοποιήσει υπάρχοντα καλώδια QSFP56, επιταχύνοντας την ανάπτυξη και μειώνοντας το κόστος προμήθειας. Ολόκληρη η φυσική εγκατάσταση ολοκληρώθηκε εντός δύο εβδομάδων, με το επίπεδο ελέγχου να αξιοποιεί το Ενοποιημένο Διαχειριστή Δικτύου (UFM) της NVIDIA για αυτοματοποιημένη ανακάλυψη τοπολογίας και παροχή πόρων.

Η υποστήριξη του διακόπτη για προσαρμοστική δρομολόγηση και έλεγχο συμφόρησης αποδείχθηκε κρίσιμη για τη διαχείριση της εκρηκτικής κυκλοφορίας που χαρακτηρίζει τους φόρτους εργασίας AI. Αναδιανέμοντας δυναμικά τις ροές σε διαθέσιμες διαδρομές, ο διακόπτης InfiniBand MQM8790-HS2F ελαχιστοποίησε τον σχηματισμό σημείων συμφόρησης και διατήρησε σταθερή απόδοση ακόμη και κατά τις περιόδους αιχμής προγραμματισμού εργασιών.

Αποτελέσματα και Κέρδη: Μετρήσιμες Βελτιώσεις στην Απόδοση Εργασιών και την Αξιοποίηση GPU

Μετά από τρεις μήνες λειτουργίας παραγωγής, το υπερυπολογιστικό κέντρο ανέφερε σημαντικά κέρδη απόδοσης σε πολλαπλές διαστάσεις:

• Μείωση καθυστέρησης: Η μέση καθυστέρηση MPI ping-pong μειώθηκε από 680 ns στο προηγούμενο δίκτυο EDR σε κάτω από 130 ns με τον NVIDIA Mellanox MQM8790-HS2F, αντιπροσωπεύοντας βελτίωση 5x στην αποδοτικότητα ανταλλαγής μηνυμάτων.
• Επιτάχυνση συλλογικών λειτουργιών: Η καθυστέρηση all-reduce για εργασίες 1024 κόμβων μειώθηκε κατά 62%, χάρη στην εκφόρτωση SHARP v3.0 που εκτελεί λειτουργίες μείωσης απευθείας εντός του δικτύου του διακόπτη.
• Αξιοποίηση GPU: Το συνδυασμένο αποτέλεσμα χαμηλότερης καθυστέρησης και υψηλότερου εύρους ζώνης αύξησε τη μέση αξιοποίηση GPU από 72% σε 91%, μεταφραζόμενο σε μείωση 26% στον χρόνο επίλυσης για εκτελέσεις εκπαίδευσης μεγάλων γλωσσικών μοντέλων.
• Αποδοτικότητα προγραμματισμού εργασιών: Η μειωμένη διακύμανση της καθυστέρησης στην ουρά επέτρεψε στον προγραμματιστή SLURM να τοποθετήσει περισσότερες εργασίες στο ίδιο σύνολο κόμβων χωρίς παρεμβολές στην απόδοση, αυξάνοντας τη συνολική απόδοση του συμπλέγματος κατά περίπου 18%.

Όταν η ομάδα αργότερα έκανε συγκριτική αξιολόγηση της τιμής MQM8790-HS2F έναντι εναλλακτικών διακοπτών από άλλους προμηθευτές, διαπίστωσε ότι το συνολικό κόστος ανά Gb/s που παραδόθηκε ήταν πολύ ανταγωνιστικό — ειδικά όταν συνυπολογιζόταν η μειωμένη διαχείριση και η ικανότητα του διακόπτη να υποστηρίζει ταχύτητες σύνδεσης HDR και HDR100, προστατεύοντας τις επενδύσεις σε περιβάλλοντα μικτών ταχυτήτων.

Από λειτουργική άποψη, η ενσωματωμένη πλατφόρμα UFM παρείχε ένα ενιαίο παράθυρο για την παρακολούθηση της υγείας του δικτύου, των μοτίβων κυκλοφορίας και των σφαλμάτων σε επίπεδο σύνδεσης. Αυτή η ορατότητα επέτρεψε στην ομάδα να εντοπίζει προληπτικά φθίνοντα καλώδια και να τα αντικαθιστά κατά τη διάρκεια προγραμματισμένης συντήρησης, αποφεύγοντας απρογραμμάτιστη διακοπή λειτουργίας.

Σύνοψη και Προοπτικές: Ένα Προσχέδιο για Δίκτυα Χαμηλής Καθυστέρησης Επόμενης Γενιάς

Αυτή η μελέτη περίπτωσης αποδεικνύει ότι η λύση διακόπτη InfiniBand MQM8790-HS2F είναι κάτι περισσότερο από μια απλή αναβάθμιση ταχύτητας — είναι ένα μετασχηματιστικό στοιχείο για οργανισμούς που επιδιώκουν να ξεκλειδώσουν το πλήρες δυναμικό απόδοσης της υποδομής AI και HPC τους. Συνδυάζοντας υψηλή πυκνότητα θυρών, εξαιρετικά χαμηλή καθυστέρηση και δυνατότητες υπολογιστών εντός του δικτύου, ο διακόπτης αντιμετωπίζει άμεσα τα σημεία συμφόρησης επικοινωνίας που ιστορικά έχουν περιορίσει την επεκτασιμότητα των συμπλεγμάτων.

Κοιτάζοντας προς το μέλλον, το υπερυπολογιστικό κέντρο σχεδιάζει να επεκτείνει το δίκτυό του σε 2.400 κόμβους το επόμενο οικονομικό έτος, αξιοποιώντας την ίδια αρχιτεκτονική MQM8790-HS2F με επιπλέον διακόπτες ράχης. Η ομάδα διερευνά επίσης την υποστήριξη του διακόπτη για βελτιωμένους αλγορίθμους μείωσης του SHARP v3.0, οι οποίοι υπόσχονται να επιταχύνουν περαιτέρω αναδυόμενους φόρτους εργασίας όπως τα γραφικά νευρωνικά δίκτυα και η ενισχυτική μάθηση.

Για τους IT managers, τους αρχιτέκτονες δικτύων και τους μηχανικούς που αξιολογούν επιλογές διασύνδεσης για τις δικές τους κατασκευές συμπλεγμάτων, ο NVIDIA Mellanox MQM8790-HS2F προσφέρει μια αποδεδειγμένη, επικυρωμένη στο πεδίο διαδρομή για την επίτευξη καθυστέρησης κάτω του μικροδευτερολέπτου, μέγιστης αξιοποίησης GPU και απλοποιημένης διαχείρισης δικτύου. Λεπτομερείς προδιαγραφές MQM8790-HS2F και σχέδια αναφοράς είναι διαθέσιμα από την πύλη τεχνικής τεκμηρίωσης της NVIDIA, και ο διακόπτης είναι πλέον ευρέως διαθέσιμος — αναζητήστε MQM8790-HS2F προς πώληση για να εντοπίσετε έναν περιφερειακό συνεργάτη.