Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter σε δράση: RDMA/RoCE-Driven Low-Latency Transport και Server

Σε πραγματικά περιβάλλοντα παραγωγής που φιλοξενούν κατανεμημένες βάσεις δεδομένων, συστοιχίες εξαγωγής συμπερασμάτων AI και υπερσυγκεντρωμένη αποθήκευση, η καθυστέρηση (jitter) και η επιβάρυνση της CPU που προκαλούνται από την παραδοσιακή στοίβα TCP/IP έχουν γίνει δύσκολα σημεία συμφόρησης για την κλιμάκωση. Μια ομάδα υποδομών μεγάλης κλίμακας στο διαδίκτυο ολοκλήρωσε πρόσφατα μια ολοκληρωμένη αναβάθμιση δικτύου βασισμένη στον προσαρμογέα διακομιστή Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT, εστιάζοντας στην επικύρωση των απτών οφελών της τεχνολογίας RDMA/RoCE για μεταφορά χαμηλής καθυστέρησης και βελτίωση της απόδοσης του διακομιστή. Αυτό το άρθρο αναλύει τις λεπτομέρειες υλοποίησης και τα βασικά αποτελέσματα από αυτήν την πρακτική περίπτωση.

Η ομάδα λειτουργούσε μια συστοιχία χιλιάδων διακομιστών που εκτελούσαν κατανεμημένη αποθήκευση (Ceph) και συστήματα πραγματικού χρόνου συστάσεων. Κατά τη διάρκεια αιχμής της κίνησης, κάθε κόμβος αποθήκευσης έπρεπε να χειριστεί χιλιάδες ταυτόχρονες συνδέσεις TCP, καταναλώνοντας σχεδόν το 30% των πόρων της CPU για την επεξεργασία πρωτοκόλλων δικτύου, με την καθυστέρηση ανάγνωσης/εγγραφής από άκρο σε άκρο να υπερβαίνει συχνά τα 200μs. Επιπλέον, τα πειράματα NVMe over Fabrics μεταξύ ραφιών, που στερούνταν δυνατότητες εκφόρτωσης υλικού, απέτυχαν σταθερά να επιτύχουν την αναμενόμενη απόδοση τοπικής μνήμης flash. Η ομάδα χρειαζόταν επειγόντως μια λύση προσαρμογέα διακομιστή ικανή να υποστηρίζει RoCEv2, να παρέχει εκφόρτωση μεταφοράς σε επίπεδο υλικού και ταυτόχρονα να προσφέρει τόσο υψηλή απόδοση όσο και χαμηλή καθυστέρηση.

Μετά την αξιολόγηση, η ομάδα επέλεξε τον MCX623106AN-CDAT ως τον πυρήνα του δικτύου. Αυτός ο προσαρμογέας ανήκει στην οικογένεια ConnectX-6 Dx. Αντικαθιστώντας απλώς τους παλιούς προσαρμογείς 10GbE με NVIDIA Mellanox MCX623106AN-CDAT σε κάθε κόμβο και υλοποιώντας μια διαμόρφωση δικτύου RoCE χωρίς απώλειες (DCQCN και PFC), η ομάδα έθεσε τα θεμέλια. Για να αξιοποιήσει πλήρως την κάρτα δικτύου Ethernet MCX623106AN-CDAT, οι κόμβοι αποθήκευσης ενεργοποίησαν την εκφόρτωση υλικού TCO και τη δυναμική συγκέντρωση συνδέσεων. Κατά την υλοποίηση, οι μηχανικοί αναφέρθηκαν στο φύλλο δεδομένων MCX623106AN-CDAT για καθοδήγηση σχετικά με τις δυνατότητες PCIe 4.0 x16 και διπλής θύρας 100GbE, διασφαλίζοντας τον προϋπολογισμό σύνδεσης και τη συμβατότητα του backplane. Μετά τις δοκιμές, όλοι οι διακομιστές πέτυχαν διασύνδεση συμβατή με MCX623106AN-CDAT με τους υπάρχοντες διακόπτες Leaf-Spine, χωρίς να απαιτείται αντικατάσταση του βασικού εξοπλισμού δικτύου.

Η αξιολόγηση απόδοσης μετά την αναβάθμιση απέφερε εντυπωσιακά αποτελέσματα. Εκτελώντας την ίδια φόρτιση εργασίας κατανεμημένης αποθήκευσης, οι κόμβοι που ήταν εξοπλισμένοι με την κάρτα δικτύου PCIe προσαρμογέα MCX623106AN-CDAT ConnectX έδειξαν:

• Μέση καθυστέρηση από άκρο σε άκρο μειώθηκε από 210μs σε 18μs (λειτουργίες ανάγνωσης NVMe over Fabrics μέσω RoCEv2).
• Επιβάρυνση δικτύου CPU μειώθηκε από 28% σε 4%, απελευθερώνοντας κύκλους υπολογιστών για εφαρμογές επιχειρηματικής δραστηριότητας.
• Αποτελεσματική απόδοση ανά κόμβο έφτασε τα 98,7 Gbps, κοντά στην ταχύτητα γραμμής.
• Συνολικά 4K τυχαίες εγγραφές IOPS της συστοιχίας Ceph πολλαπλών κόμβων αυξήθηκε κατά 3,2 φορές.

Ο επικεφαλής της ομάδας σημείωσε: "Η λύση κάρτας δικτύου Ethernet MCX623106AN-CDAT φέρνει πραγματική δυνατότητα RoCE ταχύτητας γραμμής στο περιβάλλον μας. Φόρτιοι εργασίας ευαίσθητες στην καθυστέρηση που προηγουμένως ήταν αδιανόητες μπορούν πλέον να συνυπάρχουν με εργασίες παρασκηνίου στο ίδιο επίπεδο δικτύου." Επιπλέον, σύμφωνα με τα αρχεία προμηθειών, η τιμή MCX623106AN-CDAT σε αυτήν την περίπτωση μείωσε το συνολικό κόστος ιδιοκτησίας (TCO) κατά 40% σε σύγκριση με προσαρμογείς επιταχυντών βασισμένους σε FPGA, και η πώληση MCX623106AN-CDAT μέσω τυπικών καναλιών συντόμευσε σημαντικά το χρονοδιάγραμμα του έργου. Οι λεπτομερείς προδιαγραφές MCX623106AN-CDAT επιβεβαίωσαν ότι ο προσαρμογέας παρέχει καθυστέρηση κάτω των 600ns και απόδοση ταχύτητας γραμμής σε όλα τα μεγέθη πακέτων, κάτι που ευθυγραμμιζόταν απόλυτα με τις απαιτήσεις της ομάδας.

Αυτή η πρακτική εφαρμογή καταδεικνύει σαφώς ότι ο MCX623106AN-CDAT δεν είναι απλώς ένας προσαρμογέας Ethernet υψηλής απόδοσης, αλλά ένας ακρογωνιαίος λίθος για την κατασκευή δικτύων κέντρων δεδομένων χαμηλής καθυστέρησης και υψηλής απόδοσης. Η πλήρης αρχιτεκτονική εκφόρτωσης RoCE και η μηχανή επιτάχυνσης υλικού αντιμετωπίζουν τις βασικές προκλήσεις της επεξεργασίας δικτύου που περιορίζεται από την CPU και της καθυστέρησης της στοίβας πρωτοκόλλων. Για οποιονδήποτε οργανισμό που επιδιώκει να ξεκλειδώσει την απόδοση του διακομιστή, να μειώσει την καθυστέρηση πρόσβασης στην αποθήκευση και να προετοιμαστεί για φόρτους εργασίας AI και NVMe-oF, ο Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT προσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή πορεία προς τα εμπρός.