NVIDIA Mellanox MCX631432AN-ADAB Server Adapter σε δράση: RDMA/RoCE μεταφορά χαμηλής καθυστέρησης και κέρδη απόδοσης του διακομιστή

Σε σύγχρονα περιβάλλοντα κέντρων δεδομένων, οι κατανεμημένες λύσεις αποθήκευσης, οι συστοιχίες εκπαίδευσης τεχνητής νοημοσύνης και οι πλατφόρμες συναλλαγών υψηλής συχνότητας μοιράζονται ένα κοινό σημείο συμφόρησης: την καθυστέρηση δικτύου και την επιβάρυνση της CPU που προκαλούνται από τις παραδοσιακές στοίβες TCP/IP. Για έναν πάροχο cloud μεσαίου μεγέθους που αντιμετώπιζε ασυνεπή απόδοση αποθήκευσης και συμφόρηση στις συνδέσεις πρόσβασης 25GbE, η αναζήτηση μιας πραγματικής λύσης με εκφόρτιση υλικού τους οδήγησε στην NVIDIA Mellanox MCX631432AN-ADAB. Αυτή η μελέτη περίπτωσης εφαρμογής εξετάζει πώς η κάρτα προσαρμογέα Ethernet MCX631432AN-ADAB μεταμόρφωσε την υποδομή τους από απρόβλεπτη λειτουργία που βασιζόταν στην CPU σε λειτουργία γραμμής, χαμηλής καθυστέρησης.

Υπόβαθρο & Πρόκληση: Το Κόστος της Συμβατικής Δικτύωσης

Το παλαιότερο περιβάλλον του παρόχου βασιζόταν σε τυπικές κάρτες δικτύου 25GbE με iSCSI και NFS βασισμένα σε λογισμικό. Καθώς η πυκνότητα των εικονικών μηχανών αυξανόταν, αυξανόταν και η χρήση της CPU στους κόμβους αποθήκευσης — συχνά ξεπερνώντας το 60% μόνο για την επεξεργασία δικτύου. Οι αιχμές καθυστέρησης κατά τη διάρκεια των παραθύρων δημιουργίας αντιγράφων ασφαλείας και των ζωντανών μεταφορών προκάλεσαν χρονικές υπερβάσεις εφαρμογών. Οι αρχιτέκτονες χρειάζονταν μια λύση 25GbE διπλής θύρας που θα μπορούσε να εκφορτώσει τη μεταφορά, να επιβάλει ασφάλεια υλικού και να υποστηρίξει RDMA χωρίς επαναγραφή εφαρμογών. Μετά την ανασκόπηση του φύλλου δεδομένων MCX631432AN-ADAB και των πρώτων σχολίων της κοινότητας, επέλεξαν το προσαρμογέας MCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28 ως τη βάση για την ανακαίνιση του δικτύου τους.

Λύση & Ανάπτυξη: Ενεργοποίηση RoCE για Αποθήκευση και Υπολογισμό

Η ανάπτυξη αντικατέστησε τις υπάρχουσες κάρτες δικτύου σε 120 κόμβους υπολογιστών και 15 διακομιστές αποθήκευσης με προσαρμογείς MCX631432AN-ADAB. Κάθε προσαρμογέας διαμορφώθηκε για RoCE (RDMA over Converged Ethernet) χρησιμοποιώντας ECN και PFC σε υπάρχοντες διακόπτες spine-leaf. Τα βασικά βήματα περιλάμβαναν:

• Ενεργοποίηση εκκίνησης αξιόπιστης υλικού και ενσωματωμένης εκφόρτισης IPsec σε όλους τους προσαρμογείς για την κάλυψη των απαιτήσεων συμμόρφωσης.
• Μεταφορά της κίνησης αποθήκευσης από iSCSI σε NVMe over Fabrics (NVMe-oF) με μεταφορά RoCE, η οποία υποστηρίζεται πλήρως από τη στοίβα της λύσης προσαρμογέα Ethernet MCX631432AN-ADAB.
• Ανάπτυξη τηλεμετρίας βασισμένης σε Cumulus Linux της NVIDIA για την παρακολούθηση της απόδοσης RoCE ανά θύρα και των ειδοποιήσεων συμφόρησης.

Σύμφωνα με τις επίσημες προδιαγραφές MCX631432AN-ADAB, ο προσαρμογέας παρέχει καθυστέρηση υλικού κάτω των 800ns και υποστηρίζει ρυθμό μετάδοσης έως και 200Gb/s αμφίδρομης κίνησης όταν συνδυάζεται με κεντρικούς υπολογιστές PCIe 4.0. Στην πράξη, η ομάδα μηχανικών μέτρησε σταθερή καθυστέρηση σε επίπεδο εφαρμογής 1,5μs για αναγνώσεις NVMe-oF — μια βελτίωση 14x σε σχέση με την προηγούμενη διαδρομή iSCSI λογισμικού. Η χρήση της CPU στους διακομιστές αποθήκευσης μειώθηκε από 58% σε μόλις 11% κατά τη διάρκεια δοκιμών IOPS αιχμής, χάρη στην πλήρη εκφόρτιση πρωτοκόλλου και τη δυναμική διαμεσολάβηση διακοπών.

Μετρήσιμα Αποτελέσματα & Επιχειρηματικά Οφέλη

Μετά από τέσσερις εβδομάδες παραγωγικής λειτουργίας, ο πάροχος ανέφερε τρία κύρια κέρδη:

• Αύξηση ρυθμού μετάδοσης: Κάθε κόμβος αποθήκευσης κορένυται πλέον και τις δύο θύρες 25GbE (49,5 Gbit/s συνολικά) διατηρώντας ταυτόχρονα jitter κάτω του μικροδευτερολέπτου, σε σύγκριση με προηγούμενο πραγματικό ρυθμό μετάδοσης 18 Gbit/s.
• Συνέπεια καθυστέρησης: Η καθυστέρηση εγγραφής 99ης εκατοστιαίας θέσης για κατανεμημένες βάσεις δεδομένων μειώθηκε από 780μs σε 94μs, εξαλείφοντας τις χρονικές υπερβάσεις κατά την επανεξισορρόπηση συστοιχίας.
• Λειτουργική απλότητα: Ένα σύνολο οδηγών διαχειρίζεται τόσο τους προσαρμογείς υπολογιστών όσο και τους προσαρμογείς αποθήκευσης· το οικοσύστημα συμβατό με MCX631432AN-ADAB περιλαμβάνει όλες τις κύριες διανομές Linux, επιτρέποντας ενημερώσεις πυρήνα χωρίς διακοπή λειτουργίας.

Επιπλέον, η ομάδα αξιολόγησε την τιμή MCX631432AN-ADAB σε σχέση με το συνολικό κόστος ιδιοκτησίας και διαπίστωσε ότι η ρίζα εμπιστοσύνης υλικού του προσαρμογέα και η εκφόρτιση RoCE εξάλειψαν την ανάγκη για ξεχωριστές συσκευές κρυπτογράφησης και αποκλειστικές RNICs, με αποτέλεσμα 33% χαμηλότερο TCO τριών ετών. Για οργανισμούς που εξετάζουν επέκταση, MCX631432AN-ADAB προς πώληση μέσω μεγάλων διανομέων προσφέρει πλέον τιμολόγηση όγκου, καθιστώντας τις αναβαθμίσεις μεγάλης κλίμακας οικονομικά βιώσιμες.

Σύνοψη & Προοπτικές

Η NVIDIA Mellanox MCX631432AN-ADAB αποδείχθηκε κάτι περισσότερο από μια απλή διεπαφή δικτύου — έγινε ο ενεργοποιητής ενός πραγματικά ενοποιημένου, χαμηλής καθυστέρησης δικτύου. Μετατοπίζοντας την επεξεργασία μεταφοράς από την CPU στο πυρίτιο, ο πάροχος ξεκλείδωσε το πλήρες δυναμικό της αποθήκευσης NVMe και μείωσε την κατανάλωση ενέργειας ανά διακομιστή κατά 18W κατά μέσο όρο. Καθώς τα κέντρα δεδομένων συνεχίζουν να υιοθετούν την αποσυνδεδεμένη αποθήκευση και την εξαγωγή συμπερασμάτων τεχνητής νοημοσύνης σε πραγματικό χρόνο, ο προσαρμογέας MCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28 προσφέρει μια ώριμη, καλά τεκμηριωμένη και ευρέως αναπτυγμένη διαδρομή προς την επιτυχία RDMA/RoCE. Οι αρχιτέκτονες IT που αναζητούν επαναλήψιμα κέρδη απόδοσης μπορούν να αναφερθούν με σιγουριά σε αυτήν την περίπτωση κατά τον σχεδιασμό των δικών τους πρωτοβουλιών εκσυγχρονισμού 25GbE.