Ανάλυση της Αρχιτεκτονικής Δικτύου Mellanox που Υποστηρίζει την Εκπαίδευση Μεγάλων Μοντέλων Τεχνητής Νοημοσύνης

Ημερομηνία:18 Νοεμβρίου 2023

Καθώς τα μοντέλα τεχνητής νοημοσύνης αυξάνονται εκθετικά σε μέγεθος και πολυπλοκότητα, το δίκτυο που συνδέει χιλιάδες GPUs έχει γίνει ο κρίσιμος καθοριστικός παράγοντας της αποτελεσματικότητας της εκπαίδευσης.Mellanox InfiniBandΗ τεχνολογία έχει αναδυθεί ως η βασική ραχοκοκαλιά για τα σύγχρονα AI supercomputing clusters, ειδικά σχεδιασμένα για να ξεπεράσουν τα προβλήματα επικοινωνίας που πλήττουν μεγάλης κλίμακαςΕκπαίδευση μοντέλων τεχνητής νοημοσύνηςΑυτό το άρθρο αποσυναρμολογεί τις αρχιτεκτονικές καινοτομίες που κάνουν το InfiniBand το de facto πρότυπο για την επιτάχυνση των πιο απαιτητικών φορτίων εργασίας AI στον κόσμο.

ΣύγχρονηΕκπαίδευση μοντέλων τεχνητής νοημοσύνης, όπως για τα Large Language Models (LLM), βασίζεται σε παράλληλες στρατηγικές δεδομένων όπου οι παράμετροι του μοντέλου συγχρονίζονται σε χιλιάδες GPU μετά την επεξεργασία κάθε μίνι παρτίδας δεδομένων.Ο χρόνος που δαπανάται σε αυτή τη φάση συγχρονισμούΗ παραδοσιακήΔικτύωση GPU, αυτό το επικοινωνιακό κόστος μπορεί να καταναλώσει πάνω από το 50% του συνολικού κύκλου εκπαίδευσης, μειώνοντας δραστικά τη συνολική χρήση της GPU και παρατείνοντας το χρόνο για την ενόραση από εβδομάδες σε μήνες.Το δίκτυο δεν είναι πλέον ένας απλός σωλήνας δεδομένων· είναι ένα βασικό υπολογιστικό στοιχείο.

Mellanox InfiniBandαντιμετωπίζει αυτό το εμπόδιο με μια σειρά μηχανών επιτάχυνσης βασισμένων σε υλικό που μετατρέπουν το δίκτυο από έναν παθητικό συμμετέχοντα σε ενεργό υπολογιστικό περιουσιακό στοιχείο.

• SHARP (προτόκολλο κλιμακούμενης ιεραρχικής συγκέντρωσης και μείωσης):Αυτή η επαναστατική τεχνολογία εκτελεί πράξεις συγκέντρωσης (π.χ. αθροίσματα, μέση) απευθείας μέσα στους διακόπτες InfiniBand.Το SHARP μειώνει τα δεδομένα στο δίκτυοΤο σύστημα αυτό μπορεί να επιταχύνει τις συλλογικές εργασίες κατά 50%.
• Προσαρμοστική διαδρομή και έλεγχος συμφόρησης:Οι δυναμικές δυνατότητες δρομολόγησης της InfiniBand κατευθύνουν αυτόματα την κυκλοφορία γύρω από τα συμφόρηση σημεία,διασφάλιση της ομοιόμορφης χρήσης του ιστού δικτύου και αποφυγή οποιουδήποτε μεμονωμένου συνδέσμου να αποτελέσει εμπόδιο κατά τη διάρκεια εντατικών φάσεων επικοινωνίας "όλοι προς όλους".
• Υπερ-χαμηλή καθυστέρηση και υψηλό εύρος ζώνηςΜε καθυστέρηση από άκρο σε άκρο κάτω από 600 νανοδευτερόλεπτα και υποστήριξη 400 Gb/s και άνω,Mellanox InfiniBandπαρέχει την ακατέργαστη ταχύτητα που απαιτείται για την ανταλλαγή παραμέτρων σχεδόν σε πραγματικό χρόνο μεταξύ των GPU.

Τα αρχιτεκτονικά πλεονεκτήματα του InfiniBand μεταφράζονται απευθείας σε ανώτερα επιχειρηματικά και ερευνητικά αποτελέσματα για επιχειρήσεις που εκτελούν φορτία εργασίας τεχνητής νοημοσύνης μεγάλης κλίμακας.

Οι μετρήσεις αυτές δείχνουν ότι μια βελτιστοποιημένηΔικτύωση GPUΗ στρατηγική αυτή δεν είναι πολυτέλεια, αλλά μια αναγκαιότητα για την επίτευξη βιώσιμης απόδοσης από επενδύσεις σε ομάδες τεχνητής νοημοσύνης αξίας πολλών εκατομμυρίων δολαρίων.

Η εποχή του σχεδιασμού γενικής χρήσης κέντρων δεδομένων τελειώνει για την έρευνα τεχνητής νοημοσύνης.Εκπαίδευση μοντέλων τεχνητής νοημοσύνηςαπαιτεί μια κοινά σχεδιασμένη προσέγγιση όπου η υπολογιστική ισχύς των GPU αντιστοιχεί με την έξυπνη, επιταχυνόμενη δικτύωση τωνMellanox InfiniBandΜειώνοντας το κόστος επικοινωνίας και μεγιστοποιώντας τη χρήση της GPU, η αρχιτεκτονική InfiniBand είναι το κλειδί για την απελευθέρωση ταχύτερων καινοτομιών, τη μείωση του κόστους εκπαίδευσης,και να επιτύχουμε προηγουμένως αδύνατη κλίμακα της AIΕίναι το αναπόφευκτο θεμέλιο για την επόμενη γενιά των ανακαλύψεων στην ΤΝ.