Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter σε λειτουργία

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter σε δράση.

Σε μια μεγάλης κλίμακας εταιρεία του Διαδικτύου ελαστικό γυμνό μέταλλο και AI συμπέρασμα υβριδική ανάπτυξη σενάριο,Η καθυστέρηση του δικτύου και το CPU overhead έγιναν κρίσιμα εμπόδια για την κλιμακώμενη χρήση της GPU και την απόδοση αποθήκευσης.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureΗ παρούσα μελέτη περιπτώσεων εξετάζει τον τρόποMCX623106AN-CDATΗ NVIDIA Mellanox αντιμετώπισε αυτές τις προκλήσεις και μεταμόρφωσε το δίκτυο σε έναν πραγματικό επιταχυντή υπολογιστών.

Προηγούμενο & Προκλήσεις: Όταν τα 25G NIC πληρούν τα όριά τους

Το περιβάλλον παραγωγής αποτελούνταν από πάνω από 1.200 κόμβους υπολογισμού που χωρίζονταν σε δύο ζώνες διαθεσιμότητας, εκτελώντας ένα μείγμα υπηρεσιών διαδικτυακής συμπερίληψης, εκπαίδευσης εκτός σύνδεσης τεχνητής νοημοσύνης και αποθήκευσης κατανεμημένων αντικειμένων.Οι υπάρχοντες προσαρμογείς Ethernet 25GΤα βασικά σημεία πόνου περιλαμβάνουν:

• Υψηλή χρησιμοποίηση CPU: Η επεξεργασία στοιβάδων TCP/IP με βάση το λογισμικό καταναλώνει έως και 35% των πυρήνων CPU σε κόμβους αποθήκευσης κατά τη διάρκεια των κορυφαίων εκρήξεων I/O.
• Αδιάφορη καθυστέρηση: Η καθυστέρηση της ουράς (p99) για τις κατανεμημένες λειτουργίες ολοκληρωτικής μείωσης υπερβαίνει συχνά τα 50μs, προκαλώντας υποχρησιμοποίηση της GPU κατά τη διάρκεια του συγχρονισμού παραμέτρων.
• Μειονέκτημα αποθήκευσης: Η κίνηση NVMe-oF πάνω από το Ethernet με απώλειες υπέστη από πτώση πακέτων, προκαλώντας επαναμεταδόσεις που υποβαθμίζουν την αποτελεσματική διαπερατότητα κατά σχεδόν 40%.

Μετά την αξιολόγηση πολλαπλών εναλλακτικών λύσεων, συμπεριλαμβανομένων των ιδιόκτητων InfiniBand και των ανταγωνιστικών 25G NICs, η ομάδα επέλεξε τοNVIDIA Mellanox MCX623106AN-CDATγια τον μοναδικό συνδυασμό της επιτάχυνσης RoCEv2 που βασίζεται σε υλικό, της προγραμματισμένης διαδρομής δεδομένων και της ευρείας συμβατότητας πλατφόρμας.

Λύση και προσέγγιση ανάπτυξης

Η στρατηγική ανάπτυξης επικεντρώθηκε σε τρεις πυλώνες:Ενεργοποίηση RDMA/RoCE,έξυπνη ενεργοποίηση εκφόρτωσης, καισταδιακή μετανάστευση του στόλου. Κάθε κόμβος υπολογισμού έλαβε έναΠίνακας προσαρμογής Ethernet MCX623106AN-CDAT, αντικαθιστώντας τις NIC προηγούμενης γενιάς χωρίς να αλλάζει την υποκείμενη υποδομή χαλκού/ϊνών 25G.

Από τη σκοπιά της διαμόρφωσης, η ομάδα αξιοποίησε τοΔελτίο δεδομένων MCX623106AN-CDATγια την τελική ρύθμιση των ακόλουθων παραμέτρων:

• Ρυθμισμός RoCEv2 PFC (Προτεραιότητα ελέγχου ροής): Για την αποθήκευση (NVMe-oF) και τις συλλογικές επικοινωνίες AI καθορίστηκαν ειδικές τάξεις κίνησης χωρίς απώλειες, ενώ η κίνηση με τις καλύτερες προσπάθειες παρέμεινε σε ξεχωριστές ουρές με απώλειες.
• Επιτρέπεται η εκφόρτωση υλικού: Ενεργοποιήθηκαν η εκφόρτωση σήραγγας VXLAN/NVGRE, η διαίρεση του συνόλου ελέγχου και η LRO (Large Receive Offload) για τη μείωση της παρέμβασης του CPU ανά πακέτο.
• Προγραμματισμό έτοιμο για DPU: Χρησιμοποιώντας το ASAP2, η ομάδα χρησιμοποίησε ελαφριά κανόνες ροής για να κατευθύνει την κίνηση αποθήκευσης απευθείας στα τελικά σημεία στόχου NVMe-oF, παρακάμπτοντας εντελώς τη συστοιχία δικτύου πυρήνα.

Η επικύρωση της συμβατότητας ήταν απλήΣυνεργαζόμενη με MCX623106AN-CDATΟ κατάλογος κάλυψε όλα τα μοντέλα διακομιστών στον στόλο (Dell PowerEdge R750 και Supermicro Ultra σειρά), και οι υπάρχοντες κόμβοι Red Hat OpenShift και Ubuntu υιοθέτησαν τα νέα προγράμματα οδήγησης χωρίς πρόβλημα.

Αποτελέσματα και μετρήσιμα οφέλη

Μετά από τρεις εβδομάδες εγκατάστασης στην παραγωγή σε 40% του στόλου υπολογιστών, τα κέρδη απόδοσης ήταν αμέσως ορατά.

Πέρα από τις ποσοτικές βελτιώσεις, η ομάδα μηχανικών ανέφερε ποιοτική αλλαγή στη λειτουργική σταθερότητα.Οι μηχανισμοί PFC και ECN (Explicit Congestion Notification) που βασίστηκαν σε υλικό διασφάλιζαν ότι η κίνηση αποθήκευσης παρέμεινε σχεδόν χωρίς απώλειες, εξαλείφοντας τις κατακλυσμιακές καταιγίδες επαναδιαβίβασης που επηρέασαν προηγουμένως τις SLA εφαρμογής.MCX623106AN-CDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeχειρίστηκε την κρυπτογράφηση IPSec γραμμικού ρυθμού για τη διαζωνική κυκλοφορία αντιγραφής, επιτρέποντας στην ομάδα ασφαλείας να επιβάλει πολιτικές μηδενικής εμπιστοσύνης χωρίς την ανάπτυξη ειδικών συσκευών κρυπτογράφησης.

Συνοπτική & Προοπτική

Η ανάπτυξη αυτή υπογραμμίζει ότι ηMCX623106AN-CDAT Ethernet λύση κάρτας προσαρμογέαΤο RoCEv2 δεν είναι απλώς μια πρόσθετη αναβάθμιση NIC, είναι ένας στρατηγικός παράγοντας για τις σύγχρονες αρχιτεκτονικές κέντρων δεδομένων.και ολοκληρωμένες δυνατότητες εκφόρτωσης, ο προσαρμογός μετατρέπει αποτελεσματικά ένα τυποποιημένο υλικό Ethernet σε ένα επίπεδο υποδομής χαμηλής καθυστέρησης και υψηλής απόδοσης.Η οργάνωση πληροφορικής σχεδιάζει τώρα να επεκτείνει την ανάπτυξη σε όλους τους εναπομείναντες κόμβους και αξιολογεί ενεργά τηνΕιδικότητες MCX623106AN-CDATγια την επόμενη γενιά σχεδίων 50G Spine-Leaf.

Για τους αρχιτέκτονες υποδομών και τους διαχειριστές πληροφορικής που αντιμετωπίζουν παρόμοια ανώτατα όρια επιδόσεων, ηMCX623106AN-CDATΌπως σημείωσε ένας ανώτερος αρχιτέκτονας:"Επιτύχαμε καλύτερη καθυστέρηση από τις προηγούμενες 25G NICs με το ήμισυ του κόστους του CPU, και δεν χρειάστηκε να επανα-καλωδιώσουμε ούτε ένα ράκ".Με τη μεγάλη τουΣυνεργαζόμενη με MCX623106AN-CDATΟικοσυστημικό και ανταγωνιστικόMCX623106AN-CDAT τιμήΗ piροσέγγιση αυτή piροβλέpiει τη βελτίωση της εpiιτάσεω τη piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική piροσωpiική.