Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch στην πράξη

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch στην πράξη | Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για συστοιχίες RDMA/HPC/AI

Υπόβαθρο και Προκλήσεις: Όταν οι Συστοιχίες RDMA Συναντούν το Δίκτυο Σημείο Συμφόρησης

Σε ένα τυπικό μικτό περιβάλλον φόρτου εργασίας HPC και AI, οι συστοιχίες υπολογιστών εκτελούν συχνά προσομοιώσεις CFD, μοριακή δυναμική και κατανεμημένη εκπαίδευση μεγάλων μοντέλων παράλληλα. Αυτοί οι φόρτοι εργασίας βασίζονται σε μεγάλο βαθμό στο RDMA για την επικοινωνία μεταξύ κόμβων και είναι εξαιρετικά ευαίσθητοι στην εύρος ζώνης, την καθυστέρηση και την απώλεια πακέτων. Όταν μια συστοιχία μεγαλώνει από δεκάδες κόμβους σε εκατοντάδες, η αρχική διασύνδεση μπορεί γρήγορα να γίνει ο περιοριστικός παράγοντας.

Κοινά συμπτώματα περιλαμβάνουν μεγάλη καθυστέρηση ουράς κατά τη διάρκεια του AllReduce, άνιση χρήση συνδέσεων σε όλο το δίκτυο και υποβαθμισμένους χρόνους ολοκλήρωσης εργασιών μόλις πολλαπλοί χρήστες μοιράζονται το δίκτυο. Για τους μηχανικούς δικτύων και τους αρχιτέκτονες, η πρόκληση δεν είναι απλώς η προσθήκη εύρους ζώνης, αλλά η δημιουργία ενός δικτύου που διατηρεί την καθυστέρηση προβλέψιμη υπό συμφόρηση.

Λύση και Ανάπτυξη: Δημιουργία του Δικτύου Γύρω από το MQM8790-HS2F

Για την αντιμετώπιση αυτών των ζητημάτων, το δίκτυο της συστοιχίας επανασχεδιάστηκε γύρω από το Mellanox (NVIDIA Mellanox) MQM8790-HS2F, έναν διακόπτη InfiniBand 200Gb/s HDR σχεδιασμένο για περιβάλλοντα υψηλής πυκνότητας και χαμηλής καθυστέρησης. Ο παράγοντας μορφής MQM8790-HS2F 200Gb/s HDR 40 θυρών QSFP56 επιτρέπει 40 θύρες σε 1U, οι οποίες ταιριάζουν φυσικά σε μια διστρωματική τοπολογία fat-tree.

Η ανάπτυξη ακολούθησε μια πολυεπίπεδη προσέγγιση:

• Επίπεδο Spine: Οι διακόπτες NVIDIA Mellanox MQM8790-HS2F αναπτύχθηκαν ως συσκευές spine, παρέχοντας συνδέσεις 200Gb/s προς τα πάνω και μη-μπλοκάρισμα κίνησης ανατολής-δύσης μεταξύ των ομάδων leaf.
• Επίπεδο Leaf: Οι διακόπτες Leaf συνδέουν κόμβους υπολογιστών εξοπλισμένους με προσαρμογείς ConnectX-6 ή ConnectX-7, σχηματίζοντας μια διαδρομή HDR από άκρο σε άκρο συμβατή με το MQM8790-HS2F.
• Υπολογισμός εντός δικτύου: Η τεχνολογία SHARP στο MQM8790-HS2F εκφορτώνει συλλογικές λειτουργίες όπως το AllReduce στον διακόπτη, μειώνοντας την επιβάρυνση της GPU και της CPU.
• Διαχείριση και τηλεμετρία: Χρησιμοποιήθηκαν MLNX-OS, UFM και NetQ για την παροχή, την παρακολούθηση και την ορατότητα της συμφόρησης του δικτύου.

Κατά τη διάρκεια του σχεδιασμού, η ομάδα εξέτασε το φύλλο δεδομένων του MQM8790-HS2F και τις προδιαγραφές του MQM8790-HS2F για να επικυρώσει τον προϋπολογισμό ισχύος, τις απαιτήσεις ψύξης και τις επιλογές διαχωρισμού θυρών, όπως η διάσπαση 2×100Gb/s. Η καλωδίωση και τα οπτικά τυποποιήθηκαν σε QSFP56 για την απλοποίηση των εφεδρειών και της μελλοντικής επέκτασης.

Αποτελέσματα και Οφέλη: Τι Άλλαξε Μετά την Ανάπτυξη

Μετά τη μετάβαση στη λύση διακοπτών InfiniBand MQM8790-HS2F, η συστοιχία παρουσίασε μετρήσιμες βελτιώσεις στην αποδοτικότητα επικοινωνίας και τη σταθερότητα των εργασιών. Τα πιο αξιοσημείωτα κέρδη ήταν:

Λειτουργικά, η ομάδα απέκτησε καλύτερο έλεγχο της συμπεριφοράς του δικτύου. Η προσαρμοστική δρομολόγηση και το SHARP μείωσαν τον αντίκτυπο των σημείων συμφόρησης, ενώ η τηλεμετρία διευκόλυνε τον εντοπισμό αργών κόμβων και λανθασμένων συνδέσεων. Για τους αρχιτέκτονες που αξιολογούν την τιμή του MQM8790-HS2F ή τις επιλογές MQM8790-HS2F προς πώληση, το βασικό συμπέρασμα είναι ότι ο διακόπτης αποδίδει μέσω υψηλότερης χρήσης της συστοιχίας παρά μόνο μέσω της ακατέργαστης χωρητικότητας θυρών.

Συμπέρασμα και Προοπτικές

Το MQM8790-HS2F αποδεικνύει πώς ένας ειδικά κατασκευασμένος διακόπτης InfiniBand μπορεί να εξαλείψει τα σημεία συμφόρησης διασύνδεσης σε συστοιχίες RDMA, HPC και AI. Συνδυάζοντας θύρες 200Gb/s HDR, υπολογιστική εντός δικτύου SHARP και μια ώριμη στοίβα διαχείρισης, το NVIDIA Mellanox MQM8790-HS2F προσφέρει προβλέψιμη χαμηλή καθυστέρηση σε κλίμακα. Καθώς οι συστοιχίες συνεχίζουν να μεγαλώνουν και οι φόρτοι εργασίας AI γίνονται πιο εντατικοί στην επικοινωνία, τα δίκτυα που βασίζονται στον διακόπτη InfiniBand MQM8790-HS2F είναι καλά τοποθετημένα για να υποστηρίξουν το επόμενο κύμα επέκτασης.