Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter σε δράση.

Προσαρμογέας διακομιστή Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT σε δράση | Μεταφορά χαμηλής καθυστέρησης RDMA/RoCE & Βελτιστοποίηση απόδοσης διακομιστή

Σε ένα σενάριο υβριδικής ανάπτυξης μεγάλης κλίμακας εταιρείας Διαδικτύου με ελαστικό bare-metal και εξαγωγή συμπερασμάτων AI, η καθυστέρηση δικτύου και η επιβάρυνση της CPU είχαν γίνει κρίσιμα εμπόδια στην κλιμάκωση της χρήσης της GPU και της απόδοσης αποθήκευσης. Η ομάδα υποδομής χρειαζόταν μια λύση που θα μπορούσε να προσφέρει καθυστέρηση κάτω του μικροδευτερολέπτου για εργασίες κατανεμημένης εκπαίδευσης, ενώ ταυτόχρονα θα υποστήριζε κίνηση αποθήκευσης NVMe-oF υψηλής απόδοσης — όλα αυτά χωρίς να επιβάλλει δαπανηρές αναβαθμίσεις στην υπάρχουσα υποδομή καλωδίωσης. Αυτή η μελέτη περίπτωσης εξετάζει πώς ο MCX623106AN-CDAT από τη Mellanox (NVIDIA Mellanox) αντιμετώπισε αυτές τις προκλήσεις και μεταμόρφωσε το δίκτυο σε έναν πραγματικό επιταχυντή υπολογισμών.

Υπόβαθρο & Προκλήσεις: Όταν οι κάρτες δικτύου 25G έφτασαν στα όριά τους

Το περιβάλλον παραγωγής αποτελούνταν από πάνω από 1.200 κόμβους υπολογιστών χωρισμένους σε δύο ζώνες διαθεσιμότητας, που εκτελούσαν ένα μείγμα υπηρεσιών εξαγωγής συμπερασμάτων σε πραγματικό χρόνο, εκπαίδευσης AI εκτός σύνδεσης και κατανεμημένης αποθήκευσης αντικειμένων. Οι υπάρχοντες προσαρμογείς Ethernet 25G, ενώ ήταν επαρκείς για βασική συνδεσιμότητα, δυσκολεύονταν υπό ταυτόχρονα φορτία εργασίας. Τα βασικά σημεία πόνου περιλάμβαναν:

• Υψηλή χρήση CPU: Η επεξεργασία της στοίβας TCP/IP μέσω λογισμικού κατανάλωνε έως και το 35% των πυρήνων της CPU στους κόμβους αποθήκευσης κατά τις αιχμές των εισόδων/εξόδων.
• Ασυνεπής καθυστέρηση: Η καθυστέρηση ουράς (p99) για κατανεμημένες λειτουργίες all-reduce συχνά υπερέβαινε τα 50µs, προκαλώντας υποχρησιμοποίηση της GPU κατά τον συγχρονισμό παραμέτρων.
• Σημείο συμφόρησης αποθήκευσης: Η κίνηση NVMe-oF μέσω Ethernet με απώλειες υπέφερε από απώλεια πακέτων, προκαλώντας επαναμεταδόσεις που υποβάθμισαν την αποτελεσματική απόδοση κατά σχεδόν 40%.

Αφού αξιολόγησε πολλαπλές εναλλακτικές λύσεις —συμπεριλαμβανομένου του ιδιόκτητου InfiniBand και ανταγωνιστικών καρτών δικτύου 25G— η ομάδα επέλεξε την NVIDIA Mellanox MCX623106AN-CDAT για τον μοναδικό συνδυασμό επιτάχυνσης RoCEv2 μέσω υλικού, προγραμματιζόμενης διαδρομής δεδομένων και ευρείας συμβατότητας πλατφόρμας.

Λύση & Προσέγγιση Ανάπτυξης

Η στρατηγική ανάπτυξης επικεντρώθηκε σε τρεις πυλώνες: Ενεργοποίηση RDMA/RoCE, ενεργοποίηση έξυπνης εκφόρτισης, και σταδιαία μετανάστευση στόλου. Κάθε κόμβος υπολογιστών έλαβε έναν προσαρμογέα Ethernet MCX623106AN-CDAT, αντικαθιστώντας τις κάρτες δικτύου προηγούμενης γενιάς χωρίς αλλαγή της υποκείμενης υποδομής χαλκού/οπτικών 25G.

Από άποψη διαμόρφωσης, η ομάδα αξιοποίησε το φύλλο δεδομένων MCX623106AN-CDAT για να ρυθμίσει με ακρίβεια τις ακόλουθες παραμέτρους:

• Ρύθμιση RoCEv2 PFC (Priority Flow Control): Ορίστηκαν αποκλειστικές κλάσεις κίνησης χωρίς απώλειες για την αποθήκευση (NVMe-oF) και τις συλλογικές επικοινωνίες AI, ενώ η κίνηση καλύτερης προσπάθειας παρέμεινε σε ξεχωριστές ουρές με απώλειες.
• Ενεργοποιημένες εκφορτίσεις υλικού: Ενεργοποιήθηκαν οι εκφορτίσεις σήραγγας VXLAN/NVGRE, η τμηματοποίηση αθροίσματος ελέγχου και η LRO (Large Receive Offload) για τη μείωση της παρέμβασης της CPU ανά πακέτο.
• Προγραμματισμός έτοιμος για DPU: Χρησιμοποιώντας το ASAP², η ομάδα ανέπτυξε ελαφρούς κανόνες ροής για την κατεύθυνση της κίνησης αποθήκευσης απευθείας στα τελικά σημεία στόχου NVMe-oF, παρακάμπτοντας πλήρως τη στοίβα δικτύου του πυρήνα.

Η επικύρωση συμβατότητας ήταν απλή — η λίστα οικοσύστημα MCX623106AN-CDAT συμβατό κάλυπτε όλα τα μοντέλα διακομιστών στον στόλο (σειρές Dell PowerEdge R750 και Supermicro Ultra), και οι υπάρχοντες κόμβοι που βασίζονταν σε Red Hat OpenShift και Ubuntu υιοθέτησαν τους νέους οδηγούς χωρίς προβλήματα.

Αποτελέσματα & Μετρήσιμα Οφέλη

Μετά από τρεις εβδομάδες ανάπτυξης παραγωγής στο 40% του στόλου υπολογιστών, τα κέρδη απόδοσης ήταν άμεσα ορατά. Ο παρακάτω πίνακας συνοψίζει τις βασικές μετρήσεις πριν και μετά:

Πέρα από τις ποσοτικές βελτιώσεις, η ομάδα μηχανικών ανέφερε μια ποιοτική αλλαγή στην επιχειρησιακή σταθερότητα. Οι μηχανισμοί PFC και ECN (Explicit Congestion Notification) μέσω υλικού διασφάλισαν ότι η κίνηση αποθήκευσης παρέμεινε σχεδόν χωρίς απώλειες, εξαλείφοντας τις αλυσιδωτές καταιγίδες επαναμετάδοσης που προηγουμένως επηρέαζαν τις συμφωνίες επιπέδου υπηρεσιών (SLA) των εφαρμογών. Επιπλέον, η κάρτα δικτύου PCIe προσαρμογέα MCX623106AN-CDAT ConnectX χειρίστηκε κρυπτογράφηση IPSec γραμμής για κίνηση αναπαραγωγής μεταξύ ζωνών, επιτρέποντας στην ομάδα ασφαλείας να επιβάλει πολιτικές μηδενικής εμπιστοσύνης χωρίς την ανάπτυξη αποκλειστικών συσκευών κρυπτογράφησης.

Σύνοψη & Προοπτική για το Μέλλον

Αυτή η ανάπτυξη υπογραμμίζει ότι η λύση προσαρμογέα Ethernet MCX623106AN-CDAT δεν είναι απλώς μια επαυξητική αναβάθμιση κάρτας δικτύου — είναι ένας στρατηγικός παράγοντας για σύγχρονες αρχιτεκτονικές κέντρων δεδομένων. Συνδυάζοντας το RoCEv2 με επιτάχυνση υλικού, ευέλικτο προγραμματισμό και ολοκληρωμένες δυνατότητες εκφόρτισης, ο προσαρμογέας μετατρέπει αποτελεσματικά ένα τυπικό δίκτυο Ethernet σε ένα επίπεδο υποδομής χαμηλής καθυστέρησης και υψηλής απόδοσης. Ο οργανισμός πληροφορικής σχεδιάζει τώρα να επεκτείνει την ανάπτυξη σε όλους τους εναπομείναντες κόμβους και αξιολογεί ενεργά τις προδιαγραφές MCX623106AN-CDAT για σχεδιασμούς Spine-Leaf επόμενης γενιάς 50G.

Για αρχιτέκτονες υποδομών και διαχειριστές πληροφορικής που αντιμετωπίζουν παρόμοια όρια απόδοσης, το MCX623106AN-CDAT προσφέρει μια συναρπαστική, αποδεδειγμένη διαδρομή. Όπως σημείωσε ένας ανώτερος αρχιτέκτονας: "Επιτύχαμε καλύτερη καθυστέρηση από τις προηγούμενες κάρτες δικτύου 25G με το μισό κόστος CPU, και δεν χρειάστηκε να αλλάξουμε καλωδίωση σε κανένα ράφι." Με το ευρύ οικοσύστημα MCX623106AN-CDAT συμβατό και την ανταγωνιστική τιμολόγηση MCX623106AN-CDAT, αυτός ο προσαρμογέας είναι καλά τοποθετημένος για να γίνει η προεπιλεγμένη επιλογή για αναπτύξεις 25G RoCE — είτε το φορτίο εργασίας είναι εκπαίδευση AI, κατανεμημένη αποθήκευση ή ανάλυση σε πραγματικό χρόνο.

Ετικέτες: MCX623106AN-CDAT ｜ NVIDIA Mellanox ConnectX-6 Dx ｜ Ανάπτυξη RDMA/RoCE ｜ Δικτύωση Χαμηλής Καθυστέρησης ｜ Βελτιστοποίηση Απόδοσης Διακομιστή