NVIDIA Mellanox MCX653105A-HDAT Προσαρμογέας Διακομιστή σε Δράση | RDMA/RoCE Μεταφορά Χαμηλής Καθυστέρησης & Κέρδη Απόδοσης Διακομιστή

NVIDIA Mellanox MCX653105A-HDAT Server Adapter σε δράση.

Προηγούμενο & Προκλήσεις: Το μπουλόνι της κατάρτισης για την ΤΝ

Μια κορυφαία εταιρεία χρηματοοικονομικής τεχνολογίας που ειδικεύεται στην αλγοριθμική διαπραγμάτευση και την ανάλυση κινδύνου σε πραγματικό χρόνο αντιμετώπισε μια κρίσιμη πρόκληση υποδομής.Η ομάδα μηχανικής μάθησης τους είχε αναπτύξει ένα κατανεμημένο training cluster που περιλάμβανε 32 GPU-επιταχυνόμενους serversΩστόσο, καθώς η πολυπλοκότητα του μοντέλου αυξήθηκε από εκατομμύρια σε δισεκατομμύρια παραμέτρους, η καθυστέρηση δικτύου έγινε το κυρίαρχο μπουκάλιο.Οι υπάρχοντες προσαρμογείς 25GbE, που λειτουργεί με παραδοσιακό TCP/IP, εισήγαγε απρόβλεπτη καθυστέρηση ουράς που επιβράδυνε σημαντικά τον συγχρονισμό κλίσης σε όλο το cluster.

Οι αρχιτέκτονες υποδομών της εταιρείας εντόπισαν δύο βασικά ζητήματα.η στοίβα TCP/IP κατανάλωνε σημαντικούς πόρους CPU σε κάθε διακομιστή ̇ έως και το 30% των διαθέσιμων πυρήνων ̇ γεγονός που μείωσε την διαθέσιμη χωρητικότητα για την πραγματική εκπαίδευση μοντέλωνΔεύτερον, η έλλειψη εξοπλισμού για το RDMA σήμαινε ότι οι μεταφορές δεδομένων μεταξύ μνήμης GPU και δικτύου απαιτούσαν πολλαπλά αντίγραφα μνήμης.προσθέτοντας καθυστερήσεις επιπέδου μικροδευτερόλεπτου που συσσωρεύτηκαν σε χιλιάδες ανταλλαγές παραμέτρων ανά βήμα εκπαίδευσηςΗ ομάδα χρειαζόταν μια λύση που θα μπορούσε να προσφέρει καθοριστική επικοινωνία χαμηλής καθυστέρησης χωρίς να θυσιάσει την απόδοση του διακομιστή ή να απαιτήσει πλήρη αναθεώρηση του δικτύου.

Λύση και ανάπτυξη: Εφαρμογή RoCE με το MCX653105A-HDAT

Μετά την αξιολόγηση πολλαπλών επιλογών, η επιχείρηση επέλεξε τοNVIDIA Mellanox MCX653105A-HDATΗ εν λόγω κάρτα δικτύου PCIe αναπτύχθηκε σε κάθε έναν από τους 32 εκπαιδευτικούς διακομιστές, αντικαθιστώντας τους προσαρμογείς προηγούμενης γενιάς.MCX653105A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeπαρέχει τον απαιτούμενο συνδυασμό υψηλού εύρους ζώνης και υποστήριξης RoCEv2 με επιτάχυνση από υλικό, επιτρέποντας πραγματική επικοινωνία RDMA σε ολόκληρο τον υφιστάμενο ιστό Ethernet.

Η ανάπτυξη ακολούθησε μια δομημένη προσέγγιση:

• Φυσική εγκατάσταση:Κάθε διακομιστής έλαβε τοΠίνακας προσαρμογής MCX653105A-HDAT Ethernet, συνδεδεμένα μέσω διπλών συνδέσεων 25GbE SFP28 σε περιττούς διακόπτες κορυφής του ράκου.
• Διαμόρφωση RoCEv2:Οι διακόπτες δικτύου είχαν ρυθμιστεί με έλεγχο προτεραιότητας ροής (PFC) και ρητή ειδοποίηση συμφόρησης (ECN) για να διασφαλιστεί η μεταφορά Ethernet χωρίς απώλειες, προϋπόθεση για βέλτιστες επιδόσεις RDMA.
• GPUDirect Ενσωμάτωση:Η ομάδα αξιοποίησε τις δυνατότητες GPUDirect του προσαρμογέα, επιτρέποντας την άμεση κίνηση δεδομένων μεταξύ μνήμης GPU και της διεπαφής δικτύου χωρίς συμμετοχή της CPU host.
• Στάκ λογισμικού:Η συστοιχία οδηγών δικτύου NVIDIA εγκαταστάθηκε και το πλαίσιο εκπαίδευσης (PyTorch με παράλληλο κατανεμημένο δεδομένο) ρυθμίστηκε για να χρησιμοποιεί το στρώμα μεταφοράς RDMA.

Σύμφωνα με τηνΔελτίο δεδομένων MCX653105A-HDAT, ο προσαρμογός υποστηρίζει PCIe Gen 4.0 x16,παρέχοντας έως και 256 GB/s εύρος ζώνης υποδοχής ̇ επαρκές για να κορεστούν πλήρως οι διπλές θύρες 25GbE, αφήνοντας παράλληλα μεγάλο περιθώριο για μελλοντικές αναβαθμίσεις σε 50GbE ή 100GbEΗ ομάδα παρατήρησε ότι η ευελιξία του προσαρμογέα το έκανεΣυμφωνία MCX653105A-HDATμε το υφιστάμενο υλικό του διακομιστή τους, το οποίο υποστήριζε τόσο το PCIe Gen 3.0 όσο και το 4.0.

ΗΕιδικές προδιαγραφές MCX653105A-HDATΠροσαρμόσαν τις παραμέτρους διακοπής για να εξισορροπήσουν την καθυστέρηση έναντι της χρήσης του CPU.και διαμορφώθηκαν ρυθμίσεις προτεραιότητας ανά ουρά για να διασφαλιστεί ότι η κίνηση συγχρονισμού κλίσης έλαβε την υψηλότερη μεταχείριση QoS.

Αποτελέσματα και μετρήσιμα οφέλη

Οι βελτιώσεις της απόδοσης ήταν σημαντικές και άμεσα μετρήσιμες σε πολλαπλές διαστάσεις:

Πέρα από τις ποσοτικές βελτιώσεις, ηNVIDIA Mellanox MCX653105A-HDATΠαρέδωσε λειτουργικά οφέλη που η ομάδα δεν είχε προβλέψει.Η καθοριστική καθυστέρηση εξασφάλισε ότι η σύγκλιση της κατάρτισης επιτεύχθηκε με συνέπεια εντός προβλέψιμων χρονικών πλαισίων, μια κρίσιμη απαίτηση για τους χρονικά ευαίσθητους κύκλους ανάπτυξης μοντέλων της επιχείρησης.Οι απελευθερωμένοι πυρήνες CPU ανακατευθύνθηκαν προς τον πραγματικό υπολογισμό, αυξάνοντας αποτελεσματικά την αποτελεσματική υπολογιστική ικανότητα του cluster χωρίς να προστίθεται νέο υλικό.

Η ομάδα χρησιμοποίησε επίσης την ενσωματωμένη τηλεμετρία του προσαρμοστή για να αποκτήσει ορατότητα στα πρότυπα συμφόρησης υφασμάτων.Αυτά τα δεδομένα τους βοήθησαν να βελτιστοποιήσουν τις διαμορφώσεις του buffer δικτύου και να εντοπίσουν προληπτικά πιθανές υποβαθμίσεις της απόδοσης. τοΛύση κάρτας προσαρμογέα Ethernet MCX653105A-HDATΤο πρόγραμμα αυτό αποδείχθηκε ταυτόχρονα επιταχυντής επιδόσεων και εργαλείο επιχειρησιακής πληροφόρησης.

Περίληψη & Προοπτικές

Η ανάπτυξη αυτή επαλήθευσε ότι ηNVIDIA Mellanox MCX653105A-HDATείναι κάτι παραπάνω από μια αναβάθμιση δικτύου, είναι μια στρατηγική επένδυση σε κατανεμημένες επιδόσεις υπολογιστών.ο προσαρμογός μείωσε το χρόνο εκπαίδευσης κατά περισσότερο από 70%, επιταχύνθηκε ο χρόνος εισαγωγής στην αγορά για τα νέα μοντέλα και βελτιώθηκε σημαντικά η αποτελεσματικότητα των υποδομών.

Η εταιρεία σχεδιάζει τώρα να επεκτείνει αυτή την αρχιτεκτονική σε επιπλέον ομάδες, συμπεριλαμβανομένης της πλατφόρμας ανάλυσης κινδύνου σε πραγματικό χρόνο,όταν είναι απαραίτητη η μετακίνηση δεδομένων χαμηλής καθυστέρησης μεταξύ βάσεων δεδομένων σε μνήμη και κόμβων υπολογισμού. τοMCX653105A-HDAT τιμή, όταν αξιολογούνται σε σχέση με τις λειτουργικές εξοικονόμηση και τα κέρδη απόδοσης,αντιπροσώπευε αξιόπιστη απόδοση της επένδυσης, ιδίως σε σύγκριση με το κόστος ανάπτυξης ειδικής υποδομής InfiniBand ή προμήθειας πρόσθετων κόμβων υπολογισμού.

Για οργανισμούς που αξιολογούν ενεργάMCX653105A-HDAT προς πώλησηΗ μελέτη της περίπτωσης δείχνει ότι ο προσαρμογός εκπληρώνει την υπόσχεσή του για χαμηλή καθυστέρηση, υψηλής απόδοσης δικτύωσης σε περιβάλλοντα πραγματικής παραγωγής.Ο συνδυασμός της επιτάχυνσης του υλικού, η ολοκληρωμένη τηλεμετρία και η απρόσκοπτη συμβατότητα με την υφιστάμενη υποδομή Ethernet καθιστούν τηνNVIDIA Mellanox MCX653105A-HDATένα θεμελιώδες συστατικό για τις σύγχρονες αρχιτεκτονικές κέντρων δεδομένων.