NVIDIA Mellanox MCX653106A-HDAT Server Adapter σε δράση: RDMA/RoCE Low-Latency Transport & Server

Στα σύγχρονα περιβάλλοντα κέντρων δεδομένων, που κυμαίνονται από τη διανεμημένη αποθήκευση και τις συναλλαγές υψηλής συχνότητας έως τις μεγάλες κλίμακες εκπαίδευσης τεχνητής νοημοσύνης, τα παραδοσιακά stacks πρωτοκόλλων TCP/IP έχουν γίνει ένα σημαντικό εμπόδιο.Το γενικό κόστος δικτύωσης πυρήνα, η αντιγραφή δεδομένων και η αλλαγή περιβάλλοντος καταναλώνουν σημαντικούς πόρους CPU ενώ εισάγουν απρόβλεπτη καθυστέρηση.Αυτή η μελέτη περιπτώσεων εξετάζει πώς ένας κορυφαίος πάροχος υποδομής cloud ξεπέρασε αυτές τις προκλήσεις με την ανάπτυξη τουNVIDIA Mellanox MCX653106A-HDATΤο NIC του διακομιστή, επιτυγχάνοντας δραματικές βελτιώσεις τόσο στην καθυστέρηση όσο και στην απόδοση.

Η υφιστάμενη υποδομή 25GbE του παρόχου, που εκτελεί το τυπικό TCP, δυσκολευόταν να συμβαδίσει με την κίνηση αποθήκευσης NVMe-oF και τα φορτία εργασίας ανάλυσης σε πραγματικό χρόνο.Η χρησιμοποίηση του CPU στους κόμβους αποθήκευσης υπερβαίνει συχνά το 70% μόνο για την επεξεργασία δικτύουΗ καθυστέρηση από άκρο σε άκρο μεταξύ των κόμβων υπολογισμού και αποθήκευσης κυμαινόταν μεταξύ 50-150 μικροδευτερολέπτων.προκαλώντας αυξήσεις της καθυστέρησης που επηρέασαν τις συμφωνίες επιπέδου υπηρεσίαςΗ ομάδα μηχανικών αναγνώρισε ότι απαιτείται μια θεμελιώδης αλλαγή στην αρχιτεκτονική δικτύωσης, μια που παρακάμπτει τον πυρήνα και επιτρέπει την άμεση πρόσβαση στη μνήμη μεταξύ των τελικών σημείων.

Μετά την αξιολόγηση πολλαπλών επιλογών, η ομάδα επέλεξε τοΠίνακας προσαρμογής MCX653106A-HDAT EthernetΧτισμένο πάνω στην αρχιτεκτονική ConnectX-6, αυτό τοMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeπαρέχει διπλή σύνδεση 100GbE με εγγενή υποστήριξη υλικού για RoCE (RDMA over Converged Ethernet).

• Φάση 1:Αντικαταστήστε παλαιότερες NIC σε κόμβους αποθήκευσης (10 κόμβοι που εκτελούν Ceph) με τον νέο προσαρμογέα.
• Φάση 2:Προσαρμόστε το Ethernet χωρίς απώλειες με τη χρήση DCB (Διοίκηση προτεραιότητας ροής και ETS) τόσο στις NIC όσο και στους διακόπτες κορυφής του ράκου.
• Φάση 3:Μετανάστευση της κυκλοφορίας εφαρμογών από τα sockets TCP σε RDMA-based verbs και NVMe-oF μέσω RoCE.
• Φάση 4:Επέκταση της ανάπτυξης σε κόμβους υπολογισμού που χειρίζονται αναλύσεις σε πραγματικό χρόνο.

Μηχανικοί που συμβουλεύονται τηνΔελτίο δεδομένων MCX653106A-HDATκαιΕιδικότητες MCX653106A-HDATΗ νέα έκδοση του Ubuntu είναι πλέον πλήρως συμβατή με την υπάρχουσα κλωστή διακόπτη Mellanox και την αναπτυσσόμενη διανομή Linux (Ubuntu 22.04 με προγράμματα οδήγησης MLNX_OFED).Συμφωνία MCX653106A-HDATΤο οικοσύστημα αποδείχθηκε ολοκληρωμένο, χωρίς να απαιτείται καμία αλλαγή υλικού πέραν της αντικατάστασης του ίδιου του NIC.

Οι δοκιμές μετά την εγκατάσταση αποκάλυψαν σημαντικές βελτιώσεις σε όλα τα βασικά δείγματα.

Πέρα από αυτά τα ποσοτικά κέρδη, η ομάδα παρατήρησε διάφορα ποιοτικά οφέλη.Λύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATΕπιτρέπει την πραγματική μετακίνηση δεδομένων μηδενικών αντιγράφων μεταξύ της μνήμης εφαρμογής και της απομακρυσμένης αποθήκευσης, εξαλείφοντας τα προβλήματα εξάντλησης του αποθέτη ασφαλείας που προηγουμένως προκαλούσαν διαλείπουσες βλάβες κατά τη διάρκεια των εκρήξεων κυκλοφορίας.Για το φόρτο εργασίας αναλύσεων, η μετανάστευση στο RDMA μείωσε τους χρόνους ολοκλήρωσης των εργασιών κατά 62%, βελτιώνοντας άμεσα τα επιχειρηματικά αποτελέσματα.MCX653106A-HDAT τιμήΗ μείωση κατά 30% του αριθμού των κόμβων αποθήκευσης (λόγω της υψηλότερης αποδοτικότητας ανά κόμβο) αποδόθηκε εντός εννέα μηνών.MCX653106A-HDAT προς πώλησημέσω των συνεργατών της NVIDIA συμπεριλάμβανε επίσης πρόσβαση στο πλαίσιο DOCA, απελευθερώνοντας τη μελλοντική προγραμματιστικότητα για προσαρμοσμένες λειτουργίες δικτύου.

Η ανάπτυξηNVIDIA Mellanox MCX653106A-HDATΜεταμόρφωσε την υποδομή του παρόχου από ένα περιβάλλον περιορισμένο από TCP σε ένα υλικό υψηλής απόδοσης, χαμηλής καθυστέρησης, ικανό να υποστηρίζει σύγχρονα φορτία εργασίας.,Το PCIe 4.0 interface και το ολοκληρωμένο οικοσύστημα λογισμικού αντιμετωπίζουν τις τρεις κρίσιμες απαιτήσεις των σημερινών κέντρων δεδομένων: μειωμένη καθυστέρηση, αυξημένη απόδοση και βελτιωμένη απόδοση CPU.

Για τους αρχιτέκτονες που αξιολογούν παρόμοιες αναβαθμίσεις, το ταξίδι ξεκινά με την επαλήθευσηΣυμφωνία MCX653106A-HDATΤα στοιχεία αυτά περιλαμβάνουν διακόπτες, καλώδια και λειτουργικά συστήματα.Δελτίο δεδομένων MCX653106A-HDATΗ διαμόρφωση της τεχνολογίας της τεχνητής νοημοσύνης (AI) αποτελεί ένα από τα βασικά χαρακτηριστικά της τεχνολογίας.Πίνακας προσαρμογής MCX653106A-HDAT EthernetΟ πάροχος επεκτείνει τώρα την ανάπτυξη για να συμπεριλάβει το GPU direct RDMA για φορτία εργασίας συμπεράσματος AI,Η περαιτέρω επικύρωση αυτού του προσαρμογέα ως ακρογωνιαίου λίθου της σύγχρονης αρχιτεκτονικής κέντρου δεδομένων.