NVIDIA Mellanox MCX653106A-HDAT σε δράση: RDMA/RoCE χαμηλής καθυστέρησης μεταφοράς και βελτιστοποίηση της απόδοσης του διακομιστή

A major hyperscale cloud provider operating a 256-node cluster for distributed AI training and real-time analytics began experiencing severe network performance degradation as their infrastructure scaledΤο υφιστάμενο υλικό 25GbE που βασίζεται στο TCP/IP παρουσίασε καθυστερήσεις All-Reduce που υπερβαίνουν τα 6 χιλιοστά δευτερολέπτων σε 128 κόμβους,Ενώ η χρήση του CPU για την επεξεργασία δικτύου κατανάλωνε πάνω από το 40% της χωρητικότητας υπολογισμού κάθε διακομιστήΑυτό το εμπόδιο περιορίζει την αξιοποίηση της GPU σε μόλις 55%, επεκτείνοντας δραματικά τους κύκλους εκπαίδευσης και μειώνοντας την ικανότητα δημιουργίας εσόδων.Η ομάδα χρειαζόταν μια λύση που θα μπορούσε να προσφέρει τόσο καθυστέρηση σε κλίμακα μικροδευτερολέπτων όσο και τεράστιο εύρος ζώνης, παρέχοντας παράλληλα την προγραμματιστικότητα που απαιτείται για τη βελτιστοποίηση της κίνησης ειδικού φόρτου εργασίας.

Μετά από εκτεταμένη τεχνική αξιολόγηση, ο πάροχος επέλεξε τοNVIDIA Mellanox MCX653106A-HDATΚάθε κόμβος διακομιστή ήταν εξοπλισμένος με έναMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIe, που είναι διαμορφωμένη με συνδεσιμότητα 100GbE διπλής θύρας για την παροχή 200 Gb/s συνολικού εύρους ζώνης ανά κόμβο.

• Φάση 1 Πιλοτική (8 κόμβοι):Η ομάδα εγκατέστησε τοΠίνακας προσαρμογής MCX653106A-HDAT EthernetΟι προσαρμογείς συνδυάστηκαν με διακόπτες NVIDIA Spectrum-4 για διαχείριση συμφόρησης από άκρο σε άκρο.
• Φάση 2 ∆εβαίωση και προσαρμογή:Χρησιμοποιώντας τα δεδομένα τηλεμετρίας που τεκμηριώνονται στοΔελτίο δεδομένων MCX653106A-HDAT, η ομάδα επικύρωσε τη διαμόρφωση, βελτιστοποίησε τις παραμέτρους DCB και βελτιστοποίησε τις ρυθμίσεις συλλογικής επικοινωνίας NCCL.Τα προηγμένα χαρακτηριστικά προγραμματισμού του προσαρμοστή επέτρεψαν την προσαρμοσμένη διεύθυνση κυκλοφορίας για τα συγκεκριμένα μοτίβα μείωσης του φόρτου εργασίας.
• Φάση 3 full Full Production Rollout (256 κόμβοι):Μετά την επιτυχή επικύρωση, ολόκληρο το σύμπλεγμα μεταφέρθηκε στον νέο προσαρμογέα.Συμφωνία MCX653106A-HDATΗ φύση της λύσης εξασφάλισε την απρόσκοπτη ενσωμάτωση με τους υφιστάμενους διακομιστές και τις διανομές Linux.
• Φάση 4 - Συνεχή βελτιστοποίηση:Η ομάδα αξιοποίησε την ενδογραμμική τηλεμετρία του προσαρμοστή και την προγραμματιζόμενη διαδρομή δεδομένων για να εφαρμόσει πολιτικές δρομολόγησης με γνώση του φόρτου εργασίας, βελτιστοποιώντας περαιτέρω τις επιδόσεις για τις εργασίες κατάρτισης AI.

Η ομάδα παρατήρησε ότι ηΛύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATΠαρέχει μια απλή διαδρομή μετανάστευσης, καθώς οι θύρες QSFP56 υποστηρίζουν τόσο οπτικά 100GbE όσο και 25GbE, επιτρέποντας μια κομψή μετάβαση χωρίς διαταραχή της υφιστάμενης συνδεσιμότητας.

Πέρα από αυτά τα ποσοτικά κέρδη, ο πάροχος παρατήρησε σημαντικά επιχειρησιακά οφέλη.να επιταχυνθεί δραματικά ο χρόνος εισαγωγής στην αγορά νέων υπηρεσιών τεχνητής νοημοσύνηςΗ προγραμματιζόμενη διαδρομή δεδομένων του προσαρμοστή επέτρεψε την προσαρμοσμένη διαμόρφωση της κυκλοφορίας για τις ροές προτεραιότητας, εξασφαλίζοντας ότι η κρίσιμη συλλογική κυκλοφορία επικοινωνίας δεν θα βιώσει ποτέ διαμάχη.Για οργανισμούς που αξιολογούν την απόδοση επένδυσης, τοMCX653106A-HDAT τιμήΗ ομάδα σημείωσε επίσης ότι η αύξηση της απόδοσης 3* και η δυνατότητα αναβολής των πρόσθετων εξαγορών διακομιστών κατά περισσότερο από 18 μήνες, δικαιολογούνται πλήρως από την αύξηση της απόδοσης.MCX653106A-HDAT προς πώλησηΤα bundles με NVIDIA Spectrum-4 switches προσέφεραν την πιο ευνοϊκή οικονομία για μεγάλες εμβέλειες.

Ο πάροχος χρησιμοποίησε επίσης τις ολοκληρωμένες δυνατότητες τηλεμετρίας που περιγράφονται στοΕιδικότητες MCX653106A-HDATτην ανάπτυξη προγνωστικών μοντέλων απόδοσης και αυτοματοποιημένων στρατηγικών μείωσης της συμφόρησης, με στόχο την περαιτέρω ενίσχυση της λειτουργικής αποτελεσματικότητας.

Αυτή η ανάπτυξη σε παραγωγική κλίμακα αποδεικνύει ότι ηNVIDIA Mellanox MCX653106A-HDATείναι ένα μετασχηματιστικό συστατικό για τη σύγχρονη τεχνητή νοημοσύνη και την υποδομή cloud.και ολοκληρωμένες εκφορτώσεις υλικού επιτρέπουν σχεδόν γραμμική κλιμάκωση για φορτία εργασίας με επιτάχυνση GPUΩς ένα από άκρο σε άκροΛύση κάρτας προσαρμογέα Ethernet MCX653106A-HDAT, εξαλείφει το εμπόδιο του δικτύου που έχει ιστορικά περιορίσει την αποδοτικότητα της κατανεμημένης κατάρτισης και την παροχή υπηρεσιών cloud.

Κοιτάζοντας μπροστά,ο πάροχος cloud διερευνά την επέκταση της ολοκλήρωσης με την NVIDIA DOCA για την εφαρμογή πρόσθετης προγραμματισμικότητας διαδρομής δεδομένων για βελτιστοποίηση ειδικού φόρτου εργασίας σε πολλαπλά περιβάλλοντα ενοικιαστώνΟι ερευνητές χρησιμοποιούν επίσης την ενδογραμμική τηλεμετρία του προσαρμογέαΔελτίο δεδομένων MCX653106A-HDAT∙ να αναπτύξει αυτοματοποιημένα συστήματα διαχείρισης της απόδοσης επόμενης γενιάς.NVIDIA Mellanox MCX653106A-HDATέχει γίνει το θεμέλιο του χάρτη πορείας υποδομής τεχνητής νοημοσύνης, παρέχοντας μια ισχυρή, επεκτάσιμη πλατφόρμα για την επόμενη γενιά εκπαίδευσης μοντέλων ιδρύματος και υπηρεσιών ανάλυσης σε πραγματικό χρόνο.