NVIDIA Mellanox MCX653106A-HDAT σε δράση: Επίτευξη καινοτομιών RDMA/RoCE χαμηλής καθυστέρησης μεταφοράς και διακίνησης διακομιστή

Σε σύγχρονα περιβάλλοντα κέντρων δεδομένων—που εκτείνονται σε κατανεμημένους αποθηκευτικούς χώρους, συναλλαγές υψηλής συχνότητας και συμπλέγματα εκπαίδευσης τεχνητής νοημοσύνης—παραμένουν δύο επίμονες προκλήσεις: μείωση του λανθάνοντος χρόνου που προκαλείται από το δίκτυο και μεγιστοποίηση της απόδοσης διακομιστή χωρίς επιβάρυνση της CPU. Αυτή η εφαρμογή σε βάθος εξετάζει πώς ένας κορυφαίος πάροχος υποδομής cloud αντιμετώπισε αυτά ακριβώς τα ζητήματα αναπτύσσοντας τοNVIDIA Mellanox MCX653106A-HDATπροσαρμογέα διακομιστή στους κόμβους υπολογισμού και αποθήκευσης.

Ιστορικό & Πρόκληση

Η υπάρχουσα υποδομή 25 GbE του παρόχου, που βασίζεται σε τυπικούς προσαρμογείς Ethernet με στοίβες TCP/IP που βασίζονται σε λογισμικό, παρουσίαζε σαφείς περιορισμούς. Οι φόρτοι εργασίας αποθήκευσης που χρησιμοποιούν το NVMe μέσω Fabrics παρουσίασαν απρόβλεπτες αιχμές καθυστέρησης (συχνά που ξεπερνούν τα 50µs), ενώ τα συμπλέγματα βάσεων δεδομένων υπέφεραν από υψηλή χρήση της CPU—έως και το 35% των πυρήνων που καταναλώνονται μόνο από την επεξεργασία δικτύου. Η ομάδα μηχανικών χρειαζόταν μια λύση που θα μπορούσε να προσφέρει καθυστέρηση κάτω των 10 μs για συναλλαγές RDMA και να υποστηρίζει απόδοση 200 GbE χωρίς να απαιτείται πλήρης αρχιτεκτονική επισκευή.

Αφού αξιολόγησαν πολλές επιλογές, στράφηκαν στοΚάρτα προσαρμογέα Ethernet MCX653106A-HDAT, το οποίο υποσχέθηκε RoCE εκτός φόρτωσης υλικού (RDMA μέσω Converged Ethernet) και απρόσκοπτη ενσωμάτωση με την υπάρχουσα τοπολογία φύλλου-σπονδυλικής στήλης που βασίζεται σε Cumulus Linux.

Λύση & Προσέγγιση Ανάπτυξης

Η ανάπτυξη επικεντρώθηκε γύρω από τοMCX653106A-HDAT Προσαρμογέας ConnectX κάρτα δικτύου PCIe, αξιοποιώντας τη διαμόρφωση διπλής θύρας 100 GbE για να δημιουργήσετε ένα ύφασμα που δεν εμποδίζει. Κάθε υπολογιστικός κόμβος έλαβε έναν προσαρμογέα, ενώ οι κόμβοι αποθήκευσης ήταν εξοπλισμένοι με δύο για πλεονασμό. Τα βασικά βήματα υλοποίησης περιελάμβαναν:

• Ενεργοποίηση RoCEv2 με PFC (Priority Flow Control) και ECN (Ρητή ειδοποίηση συμφόρησης) για να διασφαλιστεί η μεταφορά χωρίς απώλειες
• Διαμόρφωση SR-IOV για αφιέρωση εικονικών λειτουργιών σε φόρτους εργασίας βάσης δεδομένων και αποθήκευσης υψηλής προτεραιότητας
• Ανάπτυξη των πιο πρόσφατωνΣυμβατό με MCX653106A-HDATστοίβα προγραμμάτων οδήγησης (NVIDIA DOCA 2.5) σε κόμβους Ubuntu 22.04 LTS
• Εφαρμογή επιτάχυνσης DPDK με βάση το υλικό για διαδρομές επεξεργασίας πακέτων

Με βάση τοΦύλλο δεδομένων MCX653106A-HDATκαι την επικύρωση πριν από την ανάπτυξη, η ομάδα προέβλεψε καθυστέρηση υλικού κάτω του 1μs και έως και 215 εκατομμύρια πακέτα ανά δευτερόλεπτο (MPPS) για συναλλαγές μικρών πακέτων - μετρήσεις που καθοδηγούσαν τον προγραμματισμό της χωρητικότητάς τους.

Αποτελέσματα & Μετρήσιμα Οφέλη

Μετά από ένα πιλοτικό πρόγραμμα τεσσάρων εβδομάδων σε 50 κόμβους παραγωγής, η ομάδα υποδομής κατέγραψε τις ακόλουθες βελτιώσεις κατά τη σύγκρισηNVIDIA Mellanox MCX653106A-HDATέναντι των παλαιών προσαρμογών τους:

Πέρα από τους πρωτογενείς αριθμούς, η ομάδα μηχανικών σημείωσε ότι τοΛύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATεξαλείφθηκαν προηγουμένως απαιτούμενες λύσεις συντονισμού—όπως διακοπές συγχώνευσης διακοπής και μεγάλα buffer λήψης. Οι μεταφορτώσεις υλικού του προσαρμογέα για VXLAN και Geneve απλοποίησαν επίσης τη στοίβα δικτύωσης κοντέινερ, μειώνοντας τον λανθάνοντα χρόνο pod-to-pod κατά 40% σε περιβάλλοντα Kubernetes.

Για διαχειριστές πληροφορικής που αξιολογούν το κόστος,MCX653106A-HDAT τιμήΟι συγκρίσεις με συγκρίσιμες λύσεις 200 GbE έδειξαν 15-20% χαμηλότερο συνολικό κόστος ιδιοκτησίας όταν συνυπολογίζεται η εξοικονόμηση πυρήνα της CPU και η μειωμένη χρήση της θύρας μεταγωγής. Εν τω μεταξύ,Πωλείται MCX653106A-HDATερωτήματα από παρακείμενες ομάδες —συμπεριλαμβανομένων HPC και ανάλυσης σε πραγματικό χρόνο— έχουν ήδη υποβληθεί για τον επόμενο κύκλο προμηθειών.

Περίληψη & Outlook

Η ανάπτυξη το επιβεβαιώνειNVIDIA Mellanox MCX653106A-HDATδεν είναι απλώς μια αναβάθμιση προδιαγραφών, αλλά ένα λειτουργικό άλμα για περιβάλλοντα ευαίσθητα σε λανθάνουσα κατάσταση και με περιορισμένη απόδοση. Μετατοπίζοντας την επεξεργασία δικτύου από λογισμικό στο υλικό —μέσω εκφόρτωσης RoCE, SR-IOV και GPUDirect-ready αρχιτεκτονικής— οι οργανισμοί μπορούν να επιτύχουν ντετερμινιστικό λανθάνοντα χρόνο κλίμακας μικροδευτερόλεπτου ενώ ανακτούν τους κύκλους της CPU για τη λογική της εφαρμογής.

Καθώς η ομάδα υποδομής επεκτείνει την κυκλοφορία της σε 500+ κόμβους, διερευνά επίσης την ενσωματωμένη κρυπτογράφηση του προσαρμογέα (IPsec/TLS) για ασφάλεια πολλών ενοικιαστών και το PTP (IEEE 1588v2) για φόρτους εργασίας χρηματοοικονομικών υπηρεσιών. Για μηχανικούς που αναζητούν επικυρωμένες διαμορφώσεις, τοΠροδιαγραφές MCX653106A-HDATκαι τα σχέδια αναφοράς είναι διαθέσιμα μέσω της πύλης προγραμματιστών DOCA της NVIDIA. Αυτή η πραγματική υπόθεση κάνει ένα πράγμα ξεκάθαρο: τοMCX653106A-HDAT Προσαρμογέας ConnectX κάρτα δικτύου PCIeεκπληρώνει την υπόσχεση για Ethernet χαμηλής καθυστέρησης και υψηλής απόδοσης για κέντρα δεδομένων επόμενης γενιάς.

Για μια βαθύτερη τεχνική επισκόπηση, συμβουλευτείτε τον επίσημοΦύλλο δεδομένων MCX653106A-HDATή επικοινωνήστε με τον τοπικό σας αρχιτέκτονα λύσεων NVIDIA.