Λύση επιτάχυνσης κατάρτισης τεχνητής νοημοσύνης: Ενσωμάτωση των κλαστρών DPU και GPU Mellanox

Παγκόσμια, [ημερομηνία]Η αδιάκοπη πρόοδος της Τεχνητής Νοημοσύνης ωθεί την υπολογιστική υποδομή στα όριά της.απαιτούν εβδομάδες ή ακόμη και μήνες για να εκπαιδευτούν σε συμβατικό υλικόΤο κέντρο αυτής της πρόκλησης βρίσκεται σε ένα κρίσιμο, αλλά συχνά παραβλεπόμενο στοιχείο: το δίκτυο.Αυτό το άρθρο διερευνά μια μετασχηματιστική λύση που, επιταχύνει και βελτιστοποιεί τις δραστηριότητες που επικεντρώνονται στα δεδομένα με την ενσωμάτωση τωνMellanox DPU(Data Processing Unit) με πυκνά GPU clusters, δημιουργώντας μια ολιστική αρχιτεκτονική σχεδιασμένη ειδικά για ταχείαΕκπαίδευση τεχνητής νοημοσύνηςκαι ανώτεροςΔικτύωση GPU.

Ο τομέας της τεχνητής νοημοσύνης υφίσταται μια αλλαγή παραδείγματος.που απαιτεί μια μετατόπιση από τις ρυθμίσεις ενός διακομιστή σε μαζικέςΣε αυτά τα περιβάλλοντα, χιλιάδες GPUs πρέπει να εργάζονται από κοινού, επικοινωνώντας συνεχώς για να συγχρονίσουν τα δεδομένα και τις κλίμακες.καθορίζεται από το δίκτυοΗ παραδοσιακή προσέγγιση της χρήσης των CPU διακομιστή για τη διαχείριση δικτύου, αποθήκευσης,Και τα πρωτόκολλα ασφαλείας δεν είναι πλέον βιώσιμα., καθώς κλέβει πολύτιμους κύκλους από την κύρια εργασία υπολογισμού.

Οργανισμοί που αναπτύσσουν μεγάλης κλίμακας συστάδες GPU γιαΕκπαίδευση τεχνητής νοημοσύνηςαντιμετωπίζουν διάφορες αλληλένδετες προκλήσεις που παρεμποδίζουν την απόδοση και αυξάνουν το κόστος:

• Πλήρης έξοδος CPU:Η CPU υποδοχής γίνεται ένα μπουκάλιο, που κατακλύζεται από το κόστος επεξεργασίας των συσσωρευτών επικοινωνίας (π.χ. TCP / IP), των οδηγών αποθήκευσης και των εργασιών εικονικοποίησης,αφήνοντας λιγότερη χωρητικότητα για το πραγματικό φόρτο εργασίας AI.
• Αποτελεσματική επικοινωνία:Η τυποποιημένη δικτύωση μπορεί να εισαγάγει σημαντική καθυστέρηση και jitter κατά τη διάρκεια των λειτουργιών μείωσης όλων των κρίσιμων για τον συγχρονισμό των κλίσεων μεταξύ των κόμβων σεΔικτύωση GPUΑυτό οδηγεί σε GPUs καθιστούν αδρανής, περιμένοντας για τα δεδομένα ένα φαινόμενο γνωστό ως "struggling".
• Ανεπαρκής ροή δεδομένων:Αν τα δεδομένα δεν μπορούν να τροφοδοτηθούν από την αποθήκευση στις GPU με επαρκή ρυθμό, οι πιο ισχυροί επιταχυντές θα είναι ελλιπώς χρησιμοποιημένοι, σπαταλώντας την επένδυση κεφαλαίου.
• Τα έξοδα ασφαλείας και των περιφερειακών μισθωτών:Η επιβολή της απομόνωσης ασφαλείας και της πολλαπλής ενοικίασης σε κοινόχρηστα clusters επιβαρύνει περαιτέρω τον CPU, προσθέτοντας πολυπλοκότητα και υποβάθμιση της απόδοσης.

Η λύση σε αυτά τα στενά σημεία είναι να αποφορτωθούν τα καθήκοντα που αφορούν την υποδομή από τον host CPU σε ένα ειδικό κομμάτι υλικού που έχει σχεδιαστεί για το σκοπό αυτό: τοMellanox DPUΗ DPU είναι ένας επαναστατικός επεξεργαστής που συνδυάζει ισχυρούς πυρήνες Arm με μια υψηλής απόδοσης διεπαφή δικτύου και προγραμματιζόμενες μηχανές δεδομένων.

Όταν ενσωματώνεται σε έναν διακομιστή GPU, τοMellanox DPUδημιουργεί μια διαχωρισμένη αρχιτεκτονική που μεταμορφώνει την αποτελεσματικότητα των AI clusters:

• Εταιρική σύνδεση με επιταχυνόμενο υλικό:Η DPU εκφορτώνει ολόκληρη τη συστοιχία επικοινωνίας από τον οικοδεσπότη, χειριζόμενη κρίσιμες εργασίες στο υλικό.που επιτρέπει στις GPU να ανταλλάσσουν απευθείας δεδομένα σε όλο το δίκτυο με ελάχιστη καθυστέρηση και μηδενική συμμετοχή του CPU, βασικά βελτιστοποίησηΔικτύωση GPU.
• Αποθήκευση εκφόρτωση:Η DPU μπορεί να διαχειρίζεται απευθείας την πρόσβαση σε αποθήκευση που συνδέεται με δίκτυο, προετοιμάζοντας σύνολα δεδομένων εκπαίδευσης και μετακινώντας τα απευθείας στη μνήμη GPU,διασφάλιση συνεχούς και υψηλής ταχύτητας τροφοδοσίας δεδομένων για να διατηρούνται οι επιταχυντές πλήρως κορεσμένοι.
• Ενισχυμένη ασφάλεια και απομόνωση:Η DPU παρέχει μια ζώνη εμπιστοσύνης που βασίζεται στο υλικό, μπορεί να χειριστεί τις πολιτικές ασφαλείας, την κρυπτογράφηση και την απομόνωση των ενοικιαστών με ταχύτητα γραμμής,αποφορτίζοντας αυτές τις εργασίες από τον οικοδεσπότη και παρέχοντας ένα πιο ασφαλές περιβάλλον χωρίς να θυσιάζεται η απόδοση.
• Διαχείριση μεγέθυνσης:Οι DPU παρέχουν μια συνεπή πλατφόρμα για τη διαχείριση της υποδομής, επιτρέποντας την απρόσκοπτη κλιμάκωση του ομίλου χωρίς αύξηση της λειτουργικής πολυπλοκότητας.

Η ολοκλήρωση τηςMellanox DPUΗ τεχνολογία της τεχνητής νοημοσύνης προσφέρει δραματικές, μετρήσιμες βελτιώσεις που επηρεάζουν άμεσα τα έσοδα:

Η εποχή της τεχνητής νοημοσύνης είναι επίσης η εποχή της πληροφορικής που επικεντρώνεται στα δεδομένα. Η επιτυχία δεν καθορίζεται πλέον μόνο από την πυκνότητα υπολογισμού, αλλά από το πόσο αποτελεσματικά μετακινούνται τα δεδομένα μεταξύ υπολογισμού, αποθήκευσης και σε όλο το δίκτυο.ΗMellanox DPUΗ τεχνολογία αυτή αντιμετωπίζει αυτή την ανάγκη, παρέχοντας την απαραίτητη νοημοσύνη στη διαδρομή δεδομένων για να απελευθερώσει το πλήρες δυναμικό κάθε GPU σε ένα cluster.Δικτύωση GPUκαι παροχή δεδομένων, ανοίγει το δρόμο για ταχύτερες ανακαλύψεις, χαμηλότερα λειτουργικά κόστη και μια πιο βιώσιμη υποδομή τεχνητής νοημοσύνης.Αυτή η ολοκληρωμένη προσέγγιση γίνεται γρήγορα το νέο πρότυπο για όποιον ενδιαφέρεται σοβαρά για τηνΕκπαίδευση ΑΙ.