NVIDIA Mellanox MCX631102AN-ADAT σε δράση: RDMA/RoCE χαμηλής καθυστέρησης μεταφοράς και βελτιστοποίηση της απόδοσης του διακομιστή

NVIDIA Mellanox MCX631102AN-ADAT σε δράση: RDMA/RoCE χαμηλής καθυστέρησης μεταφοράς και βελτιστοποίηση της απόδοσης του διακομιστή

Προηγούμενο & Προκλήσεις: Το μειονέκτημα της καθυστέρησης και της απόδοσης στην κατανεμημένη αποθήκευση

Ένας μεσαίου μεγέθους πάροχος υπηρεσιών cloud που λειτουργεί ένα κατανεμημένο cluster αποθήκευσης Ceph σε 120 x86 διακομιστές άρχισε να αντιμετωπίζει αυξανόμενα προβλήματα απόδοσης.που βασίζονται στο TCP/IP για την επικοινωνία μεταξύ των κόμβωνΤα βασικά συμπτώματα περιλαμβάνουν υψηλή χρησιμοποίηση CPU που υπερβαίνει το 45% στους κόμβους αποθήκευσης λόγω επεξεργασίας πρωτοκόλλου δικτύου,μέση καθυστέρηση ανάγνωσης/γράφησης που υπερβαίνει τα 3 χιλιοστά του δευτερολέπτου κατά τις ώρες αιχμής, και ένα σημαντικό χάσμα μεταξύ της θεωρητικής χωρητικότητας δίσκου και της πραγματικής απόδοσης που παρέχεται από το δίκτυο.Η ομάδα μηχανικών αναγνώρισε ότι η επίτευξη καθυστέρησης κάτω των χιλιοστών δευτερολέπτων και η πλήρης απελευθέρωση της απόδοσης NVMe απαιτούσε μια θεμελιώδη αλλαγή στην προσέγγιση δικτύωσης , υιοθέτηση RDMA μέσω Converged Ethernet (RoCE).

Λύση & Εφαρμογή: Εισαγωγή της λύσης κάρτας προσαρμογέα Ethernet MCX631102AN-ADAT

Μετά την αξιολόγηση πολλαπλών επιλογών προμηθευτών, η ομάδα επέλεξεNVIDIA Mellanox MCX631102AN-ADATΗ ΕΤΕπ έχει αναλάβει την ευθύνη για την αναβάθμιση του δικτύου τους.MCX631102AN-ADAT ConnectX-6 Lx διπλής θύρας 25GbE SFP28Η εταιρεία επέλεξε τον προσαρμογέα για την εγγενή υποστήριξη RoCEv2, τον έλεγχο συμφόρησης που βασίζεται σε υλικό και την απρόσκοπτη ολοκλήρωση με την υπάρχουσα υποδομή καλωδίωσης SFP28.

Η στρατηγική ανάπτυξης πραγματοποιήθηκε σταδιακά σε τρεις ομάδες:

• Φάση 1 (Πιλοτική):16 κόμβοι αποθήκευσης ήταν εξοπλισμένοι με τοMCX631102AN-ADAT κάρτα προσαρμογή EthernetΟι προσαρμογείς είχαν ρυθμιστεί σε λειτουργία ενεργού-ενεργού διπλής θύρας, με κάθε θύρα να συνδέεται με ένα ζευγάρι διακόπτες NVIDIA Spectrum για εφεδρικότητα.
• Φάση 2 (βελτιστοποίηση):Το RoCEv2 ενεργοποιήθηκε με τον έλεγχο ροής προτεραιότητας (PFC) και την ρητή ειδοποίηση συμφόρησης (ECN) συντονισμένη για την αποτροπή των πτώσεων του δικτύου.Η ομάδα αξιοποίησε τις μηχανές εκφόρτωσης υλικού του προσαρμοστή για υπολογισμούς NVMe-oF και κώδικα διαγραφής..
• Φάση 3 (πλήρης ανάπτυξη):Όλοι οι 120 κόμβοι μετανάστευσαν στοNVIDIA Mellanox MCX631102AN-ADAT, με τη συσσωρευτική στοίβα Ceph OSD (Object Storage Daemon) να έχει επανασυσταθεί για να χρησιμοποιεί τη μεταφορά RDMA.

Σύμφωνα με τηνΔελτίο δεδομένων MCX631102AN-ADAT, η διεπαφή PCIe 4.0 x8 του προσαρμογέα παρέχει επαρκές εύρος ζώνης για να χειριστεί τη συνολική χωρητικότητα 50 Gb/s.Ειδικότητες MCX631102AN-ADAT∆εύτερον, η διαμόρφωση του προσαρμογέα για τα οχήματα που χρησιμοποιούνται για την παραγωγή ηλεκτρονικών συστημάτων, συμπεριλαμβανομένης της καθυστέρησης μικρότερης των 0,6 μικροδευτερολέπτων και της διαχείρισης της κυκλοφορίας που βασίζεται σε υλικό, ανταποκρίνεται απόλυτα στις αυστηρές απαιτήσεις απόδοσης.Συμφωνία MCX631102AN-ADATμε την υπάρχουσα διανομή Linux (RHEL 9.2) και τους οδηγούς Mellanox OFED, απλοποιώντας σημαντικά τη διαδικασία ανάπτυξης.

Αποτελέσματα και οφέλη: Μετρήσιμα κέρδη σε καθυστέρηση και απόδοση

Η επίδραση της μετανάστευσης ήταν άμεσα εμφανής στις μετρήσεις παραγωγής.

Πέρα από τους αριθμούς, η ομάδα παρατήρησε σημαντικές βελτιώσεις στις λειτουργίες.MCX631102AN-ADATΕπιτρέπει την απρόσκοπτη ζωντανή μετανάστευση VM που εκτελούν εφαρμογές ευαίσθητες στην καθυστέρηση, καθώς το jitter του δικτύου μειώνεται σε αμελητέα επίπεδα.Το NVMe-oF offload βασισμένο σε υλικό μείωσε την καθυστέρηση πρόσβασης στην αποθήκευση κατά 30% επιπλέονΓια τους οργανισμούς που υπολογίζουν την απόδοση της επένδυσης, το κλαστρ μπορεί να διαχειριστεί μικτά φορτία εργασίας ανάγνωσης/γράφησης με σταθερούς χρόνους απόκρισης κάτω των εκατομμυρίων δευτερολέπτων.MCX631102AN-ADAT τιμήΗ διαφορά μεταξύ των δύο προμηθευτών είναι πολύ σημαντική.MCX631102AN-ADAT προς πώλησηΟι εταιρείες που συμμετέχουν στην ανάπτυξη των νέων τεχνολογιών θα πρέπει να έχουν τη δυνατότητα να προσφέρουν ευέλικτες μειώσεις όγκου για τις μεγάλες εκτοξεύσεις.

Επιπλέον, οι ενσωματωμένες δυνατότητες τηλεμετρίας και διαχείρισης εκτός ζώνης του προσαρμογέαΔελτίο δεδομένων MCX631102AN-ADAT∆εσχέθηκε βαθιά ορατότητα στην κατάσταση του δικτύου, επιτρέποντας την προληπτική διαχείριση της συμφόρησης και την ταχύτερη ανάλυση της ρίζας της αιτίας κατά την επίλυση περιστατικών.

Σύνοψη & Προοπτικές: Ένα στρατηγικό θεμέλιο για τα μελλοντικά φορτία εργασίας

Η εφαρμογή αυτή στον πραγματικό κόσμο δείχνει ότι ηNVIDIA Mellanox MCX631102AN-ADATΕίναι πολύ περισσότερο από μια απλή αναβάθμιση εύρους ζώνης.MCX631102AN-ADAT Ethernet λύση κάρτας προσαρμογέαγια περιβάλλοντα που υποστηρίζουν το RoCE, εξαλείφει αποτελεσματικά το δίκτυο ως εμπόδιο απόδοσης, απελευθερώνοντας το πλήρες δυναμικό των σύγχρονων αρχιτεκτονικών αποθήκευσης NVMe και CPU.Ο συνδυασμός διπλής θύρας 25GbE, ολοκληρωμένα RDMA εκφόρτωσης, και ευρεία συμβατότητα οικοσυστήματος θέσει αυτό το προσαρμογέα ως μια στρατηγική επένδυση για κάθε οργανισμό που σχεδιάζει να κλιμακώσει AI / ML αγωγούς, κατανεμημένες βάσεις δεδομένων,ή υπερσυγκεντρωμένη υποδομή.

Κοιτάζοντας μπροστά, η ομάδα διερευνά εκτεταμένες περιπτώσεις χρήσης, συμπεριλαμβανομένης της ενσωμάτωσης του NVIDIA DOCA για προγραμματιζόμενες διαδρομές δεδομένων και προμήθεια μηδενικής επαφής.αύξηση της απόδοσης, και να ανακτήσει τους πόρους του CPU, τοMCX631102AN-ADATθέτει ένα νέο σημείο αναφοράς για τους προσαρμογείς διακομιστών 25GbE σε περιβάλλοντα επιχειρήσεων και cloud.