NVIDIA Mellanox MCX631432AN-ADAB Server Adapter σε Δράση | RDMA/RoCE Χαμηλής Καθυστέρησης Μεταφοράς & Κέρδη Απόδοσης Διακομιστή

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter σε Δράση | RDMA/RoCE Χαμηλής Καθυστέρησης Μεταφοράς & Κέρδη Απόδοσης Διακομιστή

Υπόβαθρο & Πρόκληση: Το Σημείο Συμφόρησης Καθυστέρησης στην Κατανεμημένη Αποθήκευση

Η ομάδα υποδομής σε μια μεγάλη εταιρεία διαδικτύου αντιμετώπισε πρόσφατα μια οικεία πρόκληση: το κατανεμημένο τους σύμπλεγμα αποθήκευσης, χτισμένο σε backend Ceph, δυσκολευόταν να συμβαδίσει με τις αυξανόμενες απαιτήσεις των εφαρμογών. Ενώ οι κόμβοι αποθήκευσης ήταν εξοπλισμένοι με ισχυρούς επεξεργαστές και γρήγορους δίσκους NVMe, η καθυστέρηση δικτύου είχε γίνει το κύριο σημείο συμφόρησης — ειδικά κατά τις αιχμές των λειτουργιών I/O. Οι υπάρχοντες προσαρμογείς 10GbE δεν διέθεταν δυνατότητες εκφόρτωσης υλικού, προκαλώντας υπερβολική παρέμβαση του επεξεργαστή για κάθε πακέτο που επεξεργαζόταν.

Αυτό το επιπλέον φορτίο ήταν πιο έντονο σε φόρτους εργασίας με έντονες εγγραφές, όπου κάθε λειτουργία I/O απαιτούσε πολλαπλές δικτυακές μετακινήσεις μετ' επιστροφής. Η ομάδα χρειαζόταν μια λύση που θα μπορούσε να μειώσει δραστικά την καθυστέρηση ουράς, ενώ παράλληλα θα αύξανε τη συνολική απόδοση του διακομιστή, χωρίς να απαιτείται πλήρης αναθεώρηση της υπάρχουσας υποδομής Ethernet. Αφού αξιολόγησαν πολλαπλές επιλογές, στράφηκαν στονNVIDIA Mellanox MCX631432AN-ADAB — έναν προσαρμογέα SFP28 διπλής θύρας 25GbE ειδικά κατασκευασμένο για αναπτύξεις RDMA over Converged Ethernet (RoCE).

Λύση & Ανάπτυξη: Ανάπτυξη RoCE με το ConnectX-6 Lx

Η ανάπτυξη στόχευε τρεις κόμβους αποθήκευσης που λειτουργούσαν ως διακομιστές μεταδεδομένων εντός του συμπλέγματος Ceph, όπου η ευαισθησία στην καθυστέρηση είναι υψηλότερη. Κάθε κόμβος ήταν εξοπλισμένος με τον προσαρμογέαMCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28, συνδεδεμένο σε έναν διακόπτη top-of-rack 25GbE με υποστήριξη RoCEv2. Η ομάδα διαμόρφωσε και τις δύο θύρες σε λειτουργία ενεργής-ενεργής σύνδεσης, συγκεντρώνοντας έως και 50Gb/s συνολικού εύρους ζώνης, παρέχοντας παράλληλα εφεδρεία για αποτυχία.

Μια κρίσιμη πτυχή της υλοποίησης ήταν η ενεργοποίηση του RoCEv2 με Priority Flow Control (PFC) και Explicit Congestion Notification (ECN) για τη διασφάλιση απώλειας δικτύου χωρίς απώλειες. Ηκάρτα προσαρμογέα Ethernet MCX631432AN-ADABυποστηρίζει εγγενώς αυτούς τους προηγμένους μηχανισμούς διαχείρισης συμφόρησης, εξαλείφοντας την ανάγκη για ιδιόκτητους διακόπτες ή πρόσθετες άδειες χρήσης. Η ομάδα χρησιμοποίησε επίσης τους ενσωματωμένους χρονομετρητές υλικού και τους μετρητές τηλεμετρίας του προσαρμογέα για την παρακολούθηση της υγείας του δικτύου σε πραγματικό χρόνο κατά τη διάρκεια της αρχικής φάσης καύσης.

Σύμφωνα με τοφύλλο δεδομένων MCX631432AN-ADAB, ο προσαρμογέας υποστηρίζει PCIe Gen 4.0 x8, το οποίο αποδείχθηκε απαραίτητο για την πλήρη κορεσμό των διπλών θυρών 25GbE χωρίς να δημιουργείται σημείο συμφόρησης στη δίαυλο του κεντρικού υπολογιστή. Οι υπάρχοντες διακομιστές ήταν ήδη συμβατοί με το Gen 4.0, καθιστώντας την αναβάθμιση απλή. Για περιβάλλοντα που εξακολουθούν να χρησιμοποιούν PCIe Gen 3.0, ο προσαρμογέας παραμένει πλήρωςMCX631432AN-ADAB συμβατόςμε προς τα πίσω συμβατότητα — μια ευελιξία που απλοποίησε το σχέδιο σταδιακής διάθεσης.

Η διαδικασία ανάπτυξης ήταν αξιοσημείωτα απλοποιημένη. Με τη στοίβα οδηγών δικτύωσης της NVIDIA, οι προσαρμογείς αναγνωρίστηκαν αμέσως στο περιβάλλον CentOS 8. Η ομάδα χρησιμοποίησε τις επίσημεςπροδιαγραφών MCX631432AN-ADABγια να βελτιστοποιήσει τις εκχωρήσεις buffer και τις ρυθμίσεις συνάθροισης διακοπών, προσαρμόζοντας τη συμπεριφορά του προσαρμογέα στα συγκεκριμένα μοτίβα φόρτου εργασίας τους.

Αποτελέσματα & Μετρήσιμα Οφέλη

Τα κέρδη απόδοσης ήταν άμεσα και ποσοτικοποιήσιμα. Ο παρακάτω πίνακας συγκρίνει βασικές μετρήσεις πριν και μετά την ανάπτυξη τουNVIDIA Mellanox MCX631432AN-ADAB:

Πέρα από τους αριθμούς, η ομάδα παρατήρησε βελτιωμένη συνέπεια στους χρόνους απόκρισης I/O, εξαλείφοντας το φαινόμενο του "θορυβώδους γείτονα" που είχε προηγουμένως επηρεάσει τις εφαρμογές ενοικιαστών που μοιράζονταν το backend αποθήκευσης. Οι εκφορτώσεις υλικού που παρέχονται από τηλύση κάρτας προσαρμογέα Ethernet MCX631432AN-ADABμείωσαν το επιπλέον φορτίο του επεξεργαστή τόσο σημαντικά που οι κόμβοι μπορούσαν να χειριστούν περίπου 60% περισσότερα IOPS πριν φτάσουν στον κορεσμό του επεξεργαστή, καθυστερώντας αποτελεσματικά έναν προγραμματισμένο κύκλο ανανέωσης υλικού.

Για την ομάδα λειτουργιών δικτύου, η ενσωματωμένη τηλεμετρία του προσαρμογέα και η δυνατότητα πρόσβασης σε μετρητές απόδοσης σε πραγματικό χρόνο μέσω τωνπροδιαγραφών MCX631432AN-ADABκατέστησαν την αντιμετώπιση προβλημάτων και τον σχεδιασμό χωρητικότητας σημαντικά ευκολότερους. Η ομάδα μπορούσε να εντοπίσει μικρο-εκρήξεις και ζητήματα βάθους ουράς πριν επηρεάσουν τους φόρτους εργασίας παραγωγής.

Σύνοψη & Προοπτικές: Θεμέλιο για Μελλοντική Κλιμάκωση

Αυτή η ανάπτυξη επικύρωσε ότι οNVIDIA Mellanox MCX631432AN-ADABδεν είναι απλώς μια επαυξητική αναβάθμιση, αλλά ένα μετασχηματιστικό στοιχείο για κατανεμημένα συστήματα ευαίσθητα στην καθυστέρηση. Ξεκλειδώνοντας το πλήρες δυναμικό του RoCE, ο προσαρμογέας επέφερε σημαντικές μειώσεις τόσο στη μέση όσο και στην καθυστέρηση ουράς, ενώ ταυτόχρονα αύξησε τη συνολική απόδοση του διακομιστή κατά σχεδόν 6 φορές. Οι ελεύθεροι κύκλοι επεξεργαστή αναδιανέμονται τώρα στην επεξεργασία σε επίπεδο εφαρμογής, βελτιώνοντας περαιτέρω τη συνολική αποδοτικότητα του συμπλέγματος.

Κοιτάζοντας μπροστά, η ομάδα διερευνά πρόσθετες περιπτώσεις χρήσης για τους προσαρμογείς, συμπεριλαμβανομένου του NVMe over Fabrics (NVMe-oF) για αποθήκευση μπλοκ υψηλής απόδοσης και ενδεχομένως του GPUDirect για φόρτους εργασίας εκπαίδευσης AI. Η ευελιξία της αρχιτεκτονικής ConnectX-6 Lx διασφαλίζει ότι το ίδιο υλικόMCX631432AN-ADABμπορεί να υποστηρίξει αυτές τις εξελισσόμενες απαιτήσεις χωρίς αντικατάσταση. Για οργανισμούς που αξιολογούν μια παρόμοια πορεία αναβάθμισης, ητιμή MCX631432AN-ADAB, όταν σταθμίζεται έναντι των λειτουργικών εξοικονομήσεων και των κερδών απόδοσης, παρουσιάζει μια επιτακτική επιχειρηματική υπόθεση.

Η εμπειρία της ομάδας υπογραμμίζει μια ευρύτερη τάση: καθώς τα κέντρα δεδομένων υιοθετούν όλο και περισσότερο δίκτυα 25GbE και υψηλότερα, η επιλογή του προσαρμογέα διακομιστή γίνεται μια κρίσιμη αρχιτεκτονική απόφαση. Ηκάρτα προσαρμογέα Ethernet MCX631432AN-ADABπροσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή λύση για όσους επιδιώκουν να γεφυρώσουν το χάσμα μεταξύ της υπάρχουσας υποδομής και των απαιτήσεων απόδοσης επόμενης γενιάς.