NVIDIA Mellanox MQM8790-HS2F σε δράση: Βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA/HPC/AI Clusters

Ένας ταχέως αναπτυσσόμενος ερευνητικός οργανισμός τεχνητής νοημοσύνης αντιμετώπιζε ένα γνωστό σημείο πόνου: το 200+ GPU cluster τους, που χρησιμοποιείται για την εκπαίδευση μεγάλων γλωσσικών μοντέλων και προσομοιώσεις μοριακής δυναμικής,βιώνει απρόβλεπτους χρόνους ολοκλήρωσης εργασίαςΠαρά τους ισχυρούς κόμβους υπολογισμού, το υφιστάμενο υλικό Ethernet 100Gb / s υπέφερε από αιχμές καθυστέρησης ουράς, πτώση πακέτων υπό τα πρότυπα incast,και υψηλό CPU overhead λόγω της παραδοσιακής επεξεργασίας στοιβάδων TCP/IPΗ ομάδα χρειαζόταν μια λύση που θα μπορούσε να προσφέρει σταθερή καθυστέρηση κάτω από το μικρότερο δευτερόλεπτο, να υποστηρίζει πλήρως το RDMA για την GPU Direct και να κλιμακώνεται χωρίς αναβαθμίσεις φορτηγού.Επέλεξαν το迈络思 ((NVIDIA Mellanox) MQM8790-HS2Fως το βασικό δομικό στοιχείο για την επόμενη γενιά υλικού συστάσεων.

Η οργάνωση χρησιμοποίησε τοMQM8790-HS2F Διακόπτης InfiniBandΜε τις 40 θύρες QSFP56 που λειτουργούν με 200Gb/s HDR, ένα ενιαίο σύστημα HDR μπορεί να λειτουργήσει με ένα μόνο σύστημα HDR.NVIDIA Mellanox MQM8790-HS2FΗ εφαρμογή αυτή χρησιμοποιεί τη δυνατότητα διασύνδεσης που παρέχεται από το δίκτυο Ethernet, η οποία παρέχει 16Tb/s χωρητικότητας διασύνδεσης χωρίς αποκλεισμό, η οποία είναι αρκετή για να αντικαταστήσει δύο παλαιότερους διακόπτες Ethernet, μειώνοντας παράλληλα την πολυπλοκότητα της καλωδίωσης.MQM8790-HS2F 200Gb/s HDR 40 θύρας QSFP56εγγενής υποστήριξη για RDMA και GPUDirect, επιτρέποντας την άμεση πρόσβαση στη μνήμη μεταξύ GPU σε διαφορετικούς διακομιστές χωρίς παρέμβαση CPU.

Βασικές λεπτομέρειες εφαρμογής περιλαμβάνουν:

• Προσαρμοστική διαδρομή για την αυτόματη ισορροπία της κυκλοφορίας σε πολλαπλές διαδρομές, εξαλείφοντας τα καυτά σημεία.
• SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) για τη μείωση στο δίκτυο, επιταχύνοντας τις λειτουργίες All-Reduce έως και 2,5 φορές.
• Έλεγχος συμφόρησης στο επίπεδο του διακόπτη, αποτρέποντας το μπλοκάρισμα της κεφαλής γραμμής που είναι κοινό σε περιβάλλοντα Ethernet με απώλειες.

Πριν από την αγορά, η ομάδα μηχανικών επανεξέτασε τοΔελτίο δεδομένων MQM8790-HS2FκαιΠροδιαγραφές MQM8790-HS2FΗ εταιρεία ανακοίνωσε ότι θα συνεχίσει να αναπτύσσει την τεχνολογία αυτή.Συμβατό με το MQM8790-HS2FΤο οικοσύστημα, συμπεριλαμβανομένων των οπτικών καλωδίων HDR και των καλωδίων χαλκού, τους επέτρεψε να επαναχρησιμοποιήσουν το 40% των προηγούμενων επενδύσεων τους στις διασυνδέσεις, μειώνοντας σημαντικά το εμπόδιο για αναβάθμιση.

Μετά την μετανάστευση στηνMQM8790-HS2FΗ οργάνωση τεκμηρίωσε τρεις κατηγορίες βελτιώσεων:

• Μείωση της καθυστέρησηςΗ μέση καθυστέρηση πινγκ-πονγκ MPI μειώθηκε από 2,1μs (Ethernet RoCE) σε 0,82μs, με την καθυστέρηση ουράς να εξαλείφεται ουσιαστικά.
• Επεξεργασία:Οι εργασίες διανεμημένης εκπαίδευσης (με βάση το NCCL) ολοκληρώθηκαν 37% ταχύτερα λόγω της μείωσης του επικοινωνιακού επιπέδου και της επιτάχυνσης SHARPv3.
• Αποφόρτιση του CPU:Το RDMA πάνω από το InfiniBand μείωσε τη χρήση CPU για δικτύωση από ~ 15% σε λιγότερο από 2%, απελευθερώνοντας πυρήνες για υπολογισμούς.

Σε ένα δείκτη αναφοράς επικοινωνίας 128-GPU all-to-all, ηMQM8790-HS2F Λύση διακόπτη InfiniBandΓια τις οικονομικές προσομοιώσεις που διεξήχθησαν από την ίδια ομάδα, η διατήρηση της ταχύτητας των πακέτων ήταν σημαντική.Η μεταβλητότητα της εργασίας μειώθηκε κατά 78%, επιτρέποντας αυστηρότερες SLA και προβλέψιμο χρόνο λειτουργίας.

Η εφαρμογή αυτή στον πραγματικό κόσμο δείχνει ότι ηMQM8790-HS2FΗ συνδυασμός της απόδοσης HDR 200Gb/s, 40 θύρας υψηλής πυκνότητας,και η προηγμένη υπολογιστική στο δίκτυο μεταμορφώνει την οικονομία των συστάσεων μειώνοντας τόσο το χρόνο ολοκλήρωσης της εργασίας όσο και το λειτουργικό γενικό κόστος. Για τους ηγέτες ΤΠ που αξιολογούντιμή MQM8790-HS2FΣε σχέση με τα κέρδη απόδοσης, η παρούσα μελέτη περιπτώσεων υποδηλώνει μια επένδυση που δεν θα διαρκέσει 12 μήνες με βάση μόνο τις βελτιώσεις της αποδοτικότητας των υπολογιστών.

Καθώς ο οργανισμός σχεδιάζει να διπλασιάσει τον αριθμό των GPU σε 400+ κόμβους, έχουν ήδη προγραμματίσει για πρόσθετεςMQM8790-HS2F προς πώλησηΗ ικανότητα του διακόπτη να αναμειγνύει ταχύτητες HDR και EDR εξασφαλίζει μια ομαλή διαδρομή μετάβασης καθώς οι παλαιότεροι προσαρμογείς αντικαθίστανται σταδιακά.Για τους αρχιτέκτονες που σχεδιάζουν ομάδες RDMA επόμενης γενιάς, τοNVIDIA Mellanox MQM8790-HS2Fπροσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή σπονδυλική στήλη που κλιμακώνεται από την ακαδημαϊκή έρευνα τεχνητής νοημοσύνης στην υπερυπολογιστική έκτασης.