Οδηγός τεχνικής λύσης: NVIDIA Mellanox MCX623106AN-CDAT για τη βελτιστοποίηση της χαμηλής καθυστέρησης και της απόδοσης RDMA / RoCE

Οι σύγχρονες αρχιτεκτονικές κέντρων δεδομένων βρίσκονται υπό συνεχή πίεση για να παρέχουν χαμηλότερο λανθάνοντα χρόνο και υψηλότερη απόδοση, διατηρώντας παράλληλα την απόδοση της CPU για φόρτους εργασίας εφαρμογών. Η παραδοσιακή δικτύωση TCP/IP, με την εγγενή της επιβάρυνση πρωτοκόλλου, συχνά αποτυγχάνει να καλύψει τις απαιτήσεις των υπολογιστών υψηλής απόδοσης (HPC), της τεχνητής νοημοσύνης (AI) και των χρηματοοικονομικών υπηρεσιών. Αυτή η τεχνική λευκή βίβλος παρουσιάζει μια ολοκληρωμένη λύση που βασίζεται γύρω από τοMCX623106AN-CDATπροσαρμογέας διακομιστή, που εστιάζει στην εφαρμογή του RDMA μέσω Converged Ethernet (RoCE) για να μειώσει δραματικά την καθυστέρηση και να αυξήσει την απόδοση του διακομιστή. Απευθύνεται σε αρχιτέκτονες δικτύου, μηχανικούς προπωλήσεων και διαχειριστές λειτουργιών, αυτό το έγγραφο περιγράφει την αρχιτεκτονική, τις στρατηγικές ανάπτυξης και τις λειτουργικές βέλτιστες πρακτικές για την αξιοποίηση αυτής της προηγμένης τεχνολογίας.

1. Ανάλυση Ιστορικού & Απαιτήσεων Έργου

Η κύρια πρόκληση που αντιμετωπίζει αυτή η λύση είναι ο «φόρος δεδομένων» που επιβάλλεται από στοίβες δικτύου που βασίζονται σε πυρήνα. Σε σενάρια που απαιτούν ανταλλαγή δεδομένων υψηλής συχνότητας —όπως κατανεμημένη αποθήκευση, εκπαίδευση μηχανικής μάθησης ή αναλυτικά στοιχεία σε πραγματικό χρόνο— οι κύκλοι της CPU σπαταλούνται στην επεξεργασία πακέτων, στους υπολογισμούς του αθροίσματος ελέγχου και στους διακόπτες περιβάλλοντος. Οι βασικές απαιτήσεις για μια εκσυγχρονισμένη υποδομή περιλαμβάνουν:

• Εξαιρετικά χαμηλή καθυστέρηση:Η καθυστέρηση εφαρμογής από άκρο σε άκρο πρέπει να ελαχιστοποιείται, ιδανικά στο εύρος κάτω των 10 μικροδευτερόλεπτων για επικοινωνία μεταξύ διακομιστών.
• Εκφόρτωση CPU:Ο ιστός δικτύου πρέπει να χειρίζεται τη μετακίνηση δεδομένων, απελευθερώνοντας πυρήνες επεξεργαστή για εργασίες εντάσεως υπολογισμού.
• Επεκτασιμότητα:Η αρχιτεκτονική πρέπει να υποστηρίζει ένα επίπεδο ύφασμα υψηλού εύρους ζώνης που μπορεί να κλιμακωθεί από δεκάδες έως χιλιάδες κόμβους χωρίς υποβάθμιση της απόδοσης.
• Βάσει προτύπων:Η λύση θα πρέπει να αξιοποιήσει την υπάρχουσα υποδομή Ethernet για την προστασία των επενδύσεων εισάγοντας προηγμένες δυνατότητες.

ΟNVIDIA Mellanox MCX623106AN-CDATαναδείχθηκε ως το θεμελιώδες στοιχείο για την κάλυψη αυτών των αυστηρών απαιτήσεων. Ως υψηλής απόδοσηςΚάρτα προσαρμογέα Ethernet MCX623106AN-CDAT, έχει σχεδιαστεί ειδικά για να ενεργοποιεί το RDMA μέσω τυπικών δικτύων Ethernet.

2. Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύων

Η προτεινόμενη αρχιτεκτονική είναι ένα ύφασμα φύλλου-ράχης σχεδιασμένο για περιβάλλον RoCE χωρίς απώλειες. Οι βασικές αρχές περιλαμβάνουν έναν πυρήνα μη αποκλεισμού με επαρκείς αναλογίες υπερσυνδρομής και την ενεργοποίηση του ελέγχου ροής προτεραιότητας (PFC) και της ρητής ειδοποίησης συμφόρησης (ECN) σε όλες τις συσκευές δικτύου. Ο σχεδιασμός ενσωματώνει την κίνηση υπολογιστών, αποθήκευσης και διαχείρισης σε ένα ενοποιημένο ύφασμα Ethernet υψηλής ταχύτητας.

Στην καρδιά αυτού του σχεδιασμού βρίσκονται οι κόμβοι διακομιστή, ο καθένας εξοπλισμένος με τοMCX623106AN-CDAT Προσαρμογέας ConnectX κάρτα δικτύου PCIe. Αυτός ο προσαρμογέας συνδέεται με διακόπτες φύλλων μέσω συνδέσμων 25 GbE ή 100 GbE, ανάλογα με την πυκνότητα του φόρτου εργασίας. Το στρώμα της σπονδυλικής στήλης παρέχει συνδεσιμότητα πλήρους πλέγματος μεταξύ των φύλλων, εξασφαλίζοντας μονοπάτια χαμηλής καθυστέρησης από οποιαδήποτε προς οποιαδήποτε. Οι στόχοι αποθήκευσης, όπως οι συστοιχίες NVMe-oF, συνδέονται επίσης στο ίδιο ύφασμα χρησιμοποιώντας συμβατούς προσαρμογείς, επιτρέποντας άμεση πρόσβαση στη μνήμη από κόμβους υπολογιστών.

3. Ο ρόλος του NVIDIA Mellanox MCX623106AN-CDAT στη λύση

ΟMCX623106AN-CDATδεν είναι απλώς μια διεπαφή δικτύου. είναι μια προηγμένη μονάδα επεξεργασίας δεδομένων (DPU) που χειρίζεται όλες τις πτυχές της επικοινωνίας RDMA. Ο ρόλος του είναι πολύπλευρος:

• Κινητήρας RDMA/RoCE:Το υλικό του προσαρμογέα υλοποιεί το πρωτόκολλο RoCEv2, ενθυλακώνοντας τις συναλλαγές RDMA μέσω UDP/IP. Αυτό επιτρέπει τη δυνατότητα δρομολόγησης, χαμηλής καθυστέρησης επικοινωνίας χωρίς τη συμμετοχή της κεντρικής CPU.
• Μεταφορική εκφόρτωση:Διαχειρίζεται την εγκατάσταση σύνδεσης, την αλληλουχία πακέτων και την αξιόπιστη μεταφορά, παρουσιάζοντας μια απλή διεπαφή μνήμης-μνήμης στις εφαρμογές.
• Διεπαφή PCIe Gen4:Με τη διεπαφή κεντρικού υπολογιστή PCIe 4.0 υψηλού εύρους ζώνης, ο προσαρμογέας διασφαλίζει ότι τα δεδομένα δικτύου μπορούν να μετακινηθούν προς και από τη μνήμη του συστήματος με ρυθμό γραμμής, αποτρέποντας εσωτερικά σημεία συμφόρησης. Η αναλυτικήΠροδιαγραφές MCX623106AN-CDATεπιβεβαιώνει την ικανότητά του να κορεστεί πλήρως συνδέσμους υψηλής ταχύτητας.

4. Συστάσεις ανάπτυξης και κλιμάκωσης

Η επιτυχής ανάπτυξη απαιτεί προσεκτική διαμόρφωση τόσο του ιστού δικτύου όσο και των τελικών κεντρικών υπολογιστών. Τα ακόλουθα βήματα συνιστώνται για μια σταδιακή διάθεση:

• Προετοιμασία υφάσματος:Πριν από την ανάπτυξη διακομιστών, διαμορφώστε όλους τους διακόπτες στη διαδρομή για RoCE χωρίς απώλειες. Αυτό περιλαμβάνει τη ρύθμιση του PFC (802.1Qbb) για την κατηγορία κυκλοφορίας RoCE και την ενεργοποίηση του ECN (802.1Qau) για τη διαχείριση συμφόρησης.
• Εγκατάσταση προγράμματος οδήγησης και υλικολογισμικού:Εγκαταστήστε τα πιο πρόσφατα προγράμματα οδήγησης NVIDIA WinOF-2 ή MLNX_OFED για να διασφαλίσετε την πλήρη υποστήριξη δυνατοτήτων για τοMCX623106AN-CDAT. Βεβαιωθείτε ότι το υλικολογισμικό ταιριάζει με την έκδοση που καθορίζεται στοΦύλλο δεδομένων MCX623106AN-CDAT.
• Διαμόρφωση Ποιότητας Υπηρεσίας (QoS):Εφαρμόστε πολιτικές QoS για να δώσετε προτεραιότητα στην κυκλοφορία RoCE (π.χ. τιμές DSCP) και βεβαιωθείτε ότι δεν αντιμετωπίζει την κανονική κυκλοφορία TCP. Μια τυπική τοπολογία περιλαμβάνει την ομαδοποίηση κόμβων αποθήκευσης και υπολογισμού στον ίδιο τομέα RoCE για βέλτιστη απόδοση.
• Θέματα επεκτασιμότητας:Καθώς το ύφασμα μεγαλώνει, χρησιμοποιήστε τις προηγμένες δυνατότητες του προσαρμογέα, όπως το "RoCE Adaptive Routing" για να διατηρήσετε χαμηλή καθυστέρηση σε πολλές διαδρομές. Βεβαιωθείτε ότι όλοι οι νέοι κόμβοι είναιΣυμβατό με MCX623106AN-CDATμε την υπάρχουσα υποδομή μεταγωγής.

5. Λειτουργική παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η διατήρηση ενός υφάσματος RDMA απαιτεί συγκεκριμένα εργαλεία και πρακτικές. Η NVIDIA παρέχει μια ολοκληρωμένη σουίτα για τη διαχείριση και την παρακολούθησηMCX623106AN-CDAT.

• Εργαλεία παρακολούθησης:Χρησιμοποιήστε το Mellanox NEO της NVIDIA ή τυπικά εργαλεία όπως το 'mlxlink' και το 'mlxconfig' για να ελέγξετε την ακεραιότητα, τη θερμοκρασία και τους μετρητές σφαλμάτων της σύνδεσης. Η δημοσκόπηση SNMP μπορεί να παρακολουθεί στατιστικά στοιχεία διεπαφής ειδικά για την κυκλοφορία RoCE.
• Βασικές μετρήσεις:Παρακολούθηση για καρέ παύσης PFC, τα οποία υποδεικνύουν την πίεση του buffer στο ύφασμα. Οι υψηλές μετρήσεις παύσης μπορεί να οδηγήσουν σε διόγκωση λανθάνουσας κατάστασης και να απαιτήσουν συντονισμό μεγεθών buffer ή κατωφλίων ECN.
• Ενημερώσεις υλικολογισμικού και προγράμματος οδήγησης:Ελέγχετε τακτικά για ενημερώσεις στο υλικολογισμικό του προσαρμογέα. Βελτιστοποιήσεις απόδοσης και νέες δυνατότητες προστίθενται συχνά, ενισχύοντας τις δυνατότητες αυτούΛύση κάρτας προσαρμογέα Ethernet MCX623106AN-CDAT.
• Συντονισμός απόδοσης:Προσαρμόστε παραμέτρους όπως η εποπτεία διακοπής και οι ρυθμίσεις συγχώνευσης για να εξισορροπήσετε την καθυστέρηση και τη χρήση της CPU με βάση συγκεκριμένα προφίλ εφαρμογών.

6. Περίληψη και Αξιολόγηση

Η τεχνική λύση επικεντρώθηκε γύρω από τοNVIDIA Mellanox MCX623106AN-CDATπαρέχει μια σαφή και λειτουργική διαδρομή για την επίτευξη επικοινωνίας χαμηλής καθυστέρησης βασισμένη σε RDMA/RoCE και σημαντικά κέρδη διεκπεραίωσης διακομιστή. Μεταφορτώνοντας την επεξεργασία δικτύου σε αποκλειστικό υλικό και επιτρέποντας την άμεση πρόσβαση στη μνήμη, οι οργανισμοί μπορούν να ξεκλειδώσουν το πλήρες δυναμικό των εφαρμογών τους. Όταν εξετάζετε τοMCX623106AN-CDAT τιμήσε σχέση με τους κύκλους της CPU που εξοικονομήθηκαν και την απόδοση που αποκτήθηκε, η απόδοση της επένδυσης είναι επιτακτική. Για επιχειρήσεις που αναζητούνΠωλείται MCX623106AN-CDATή σχεδιάζοντας μια νέα ανάπτυξη, αυτός ο προσαρμογέας ξεχωρίζει ως κρίσιμο δομικό στοιχείο για κέντρα δεδομένων επόμενης γενιάς υψηλής απόδοσης.