NVIDIA Mellanox MCX4121A-ACAT Προσαρμοστής διακομιστή Τεχνική λύση

Αυτή η τεχνική λύση έχει σχεδιαστεί για αρχιτέκτονες δικτύων, μηχανικούς προ πωλήσεων και επικεφαλής επιχειρήσεων.NVIDIA Mellanox MCX4121A-ACATΟ προσαρμογός διακομιστή επιτρέπει τη μεταφορά χαμηλής καθυστέρησης με βάση το RDMA / RoCE και βελτιώνει δραματικά την απόδοση του διακομιστή σε σύγχρονα περιβάλλοντα κέντρων δεδομένων.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Η παραδοσιακή δικτύωση TCP/IP επιβάλλει θεμελιώδεις περιορισμούς σε ευαίσθητα στην απόδοση φορτία εργασίας όπως κατανεμημένες βάσεις δεδομένων, αποθήκευση NVMe-oF και ανάλυση σε πραγματικό χρόνο.Τα βασικά σημεία πόνου περιλαμβάνουν το υψηλό κόστος επεξεργασίας CPU από την επεξεργασία στο δίκτυο, απρόβλεπτη καθυστέρηση λόγω επαναμεταδόσεων πακέτων και αναποτελεσματική αντιγραφή μνήμης μεταξύ χώρων πυρήνα και εφαρμογής.

Για την αντιμετώπιση αυτών των προκλήσεων, τα σύγχρονα κέντρα δεδομένων απαιτούν μια λύση δικτύωσης που παρέχει:

• Υπο-10 μικροδευτερόλεπτα καθυστέρηση από άκρο σε άκρο για την αποθήκευση και την κίνηση HPC
• Παράκαμψη πυρήνα και άμεση πρόσβαση στη μνήμη για τη μείωση του φόρτου του CPU
• Υφάσματα Ethernet χωρίς απώλεια που υποστηρίζουν 25GbE ανά θύρα
• Συμπλήρωση με την υπάρχουσα υποδομή Ethernet

ΗMCX4121A-ACATΗ λύση RoCE που βασίζεται στην RoCE ικανοποιεί άμεσα αυτές τις απαιτήσεις, διατηρώντας παράλληλα τη συμβατότητα με τα τυποποιημένα οικοσυστήματα μετάβασης.

2Συνολικό σχεδιασμό δικτύου και αρχιτεκτονικής συστήματος

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία φύλλου-σπονδυλικής στήλης με απώλεια Ethernet σε στρώματα πρόσβασης 25GbE. Κάθε υπολογιστής ή διακομιστής αποθήκευσης είναι εξοπλισμένος με ένα ή δύοΠίνακες προσαρμογής Ethernet MCX4121A-ACAT, συνδέεται με διακόπτες φύλλου μέσω καλωδίων SFP28 DAC ή οπτικών δέκτες.Οι διακόπτες φύλλου υποστηρίζουν πρωτόκολλα Data Center Bridging (DCB) συμπεριλαμβανομένου του ελέγχου προτεραιότητας ροής (PFC) και της βελτιωμένης επιλογής μετάδοσης (ETS), οι οποίες είναι απαραίτητες για την κυκλοφορία RoCE.

Για σχέδια υψηλής διαθεσιμότητας, οι προσαρμογείς διπλής θύρας επιτρέπουν ενεργό-ενεργό σύνδεση ή διαμορφώσεις αναστάτωσης.διασφάλιση μη αποκλειστικού εύρους ζώνης για τα πρότυπα κυκλοφορίας ανατολικά-δυτικάΤο κλειδί αυτού του σχεδιασμού είναι ο διαχωρισμός της κίνησης αποθήκευσης RoCE από την κανονική κίνηση διαχείρισης TCP / IP χρησιμοποιώντας VLAN και τάξεις QoS.

3Ο ρόλος του NVIDIA Mellanox MCX4121A-ACAT & Βασικά χαρακτηριστικά

ΗNVIDIA Mellanox MCX4121A-ACATχρησιμεύει ως το κρίσιμο στοιχείο του τελικού σημείου που επιτρέπει το RDMA μέσω Converged Ethernet.αυτός ο διπλής θύρας προσαρμογός 25GbE SFP28 παρέχει τις ακόλουθες δυνατότητες επιτάχυνσης υλικού:

• Εγκατάσταση υλικού RoCE:Τελική επεξεργασία μεταφορών RDMA στο πυρίτιο, αποτρέποντας τα έξοδα λογισμικού
• Αντιστοίχιση ετικέτας και ανάκτηση κουδουνιού:Διαχείριση αξιόπιστης σύνδεσης με υποστήριξη υλικού
• Εικονικοποίηση SR-IOV:Μέχρι 256 εικονικές λειτουργίες ανά θύρα για τη πυκνότητα εμπορευματοκιβωτίου και VM
• GPUDirect RDMA:Άμεση πρόσβαση στη μνήμη GPU για συστάδες εκπαίδευσης AI/ML
• Αποφόρτιση δικτύου επικάλυψης:Ενσωμάτωση/αποσυμπίεση υλικού για VXLAN, NVGRE και Geneve

ΗMCX4121A-ACAT ConnectX-4 Lx διπλής θύρας 25GbE SFP28Το Adapter υποστηρίζει επίσης προηγμένα χαρακτηριστικά, συμπεριλαμβανομένης της προσαρμοστικής δρομολόγησης, του ελέγχου συμφόρησης και των εκφορτώσεων από τα μπουφέρ.Δελτίο δεδομένων MCX4121A-ACATπαρέχει ολοκληρωμένες ηλεκτρικές, θερμικές και μηχανικές προδιαγραφές.

4Συστάσεις ανάπτυξης και κλιμάκωσης (παράδειγμα τοπολογίας)

Τυπική τοπολογία 25GbE RoCE Fabric για 100+ κόμβους:

• Στοιχείο πρόσβασης:48-port 25GbE leaf switches με υποστήριξη DCB
• Σπονδυλική στήλη:Συμπλέκτες σπονδυλικής στήλης 100GbE 32 θύρων
• Προσαρμοστής διακομιστή: MCX4121A-ACAT(διπλή θύρα) σε θέση PCIe 3.0 x8
• Καλωδίωση:SFP28 παθητικός DAC για εσωτερική ράκα (≤5m), ενεργός οπτικός για διασταυρούμενη ράκα

Βήματα ανάπτυξης:

• Επιβεβαίωση των ρυθμίσεων BIOS του διακομιστή (διδιάκλαση PCIe, ενεργοποίηση SR-IOV, άνω της αποκωδικοποίησης 4G)
• ΕγκατάστασηNVIDIA Mellanox MCX4121A-ACATΦερμγουέρ μέσω εργαλείων mlxup ή MST
• Διαμόρφωση θύρων διακόπτη: προτεραιότητα PFC 3-5, κατανομή εύρους ζώνης ETS, DSCP εμπιστοσύνης
• Ενεργοποίηση RoCE στον οικοδεσπότη: ορίστε τη λειτουργία RoCE σε v2 (φιλική προς τη δρομολόγηση), ρυθμίστε το προφίλ GID
• Επικύρωση της συμπεριφοράς χωρίς απώλεια με τη χρήση του ibdiagnet και της παρακολούθησης cqounter

Για την κλιμάκωση σε 500+ κόμβους, εξετάστε την ανάπτυξη ενός ξεχωριστού υλικού αποθήκευσης RoCE για την απομόνωση της κυκλοφορίας αποθήκευσης από τις επικοινωνίες παραγωγής ανατολής-δυτικής.Συμβατό με MCX4121A-ACATΤο οικοσύστημα περιλαμβάνει όλους τους μεγάλους κατασκευαστές OEM διακομιστών και τους προμηθευτές διακόπτη, εξασφαλίζοντας ομαλή κλιμακωτότητα.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Βασικές μετρήσεις παρακολούθησης:

• Παύσεις πακέτων RoCE (δείχνει ζητήματα διαμόρφωσης PFC)
• Βαθμίδες ουράς ολοκλήρωσης αποστολής/αποδοχής RDMA
• Λάθη λιμένα, CRC και επανασύνδεση σύνδεσης
• Χρησιμοποίηση CPU ανά πυρήνα (μετρώντας την αποτελεσματικότητα παράκαμψης πυρήνα)

Βασικά εργαλεία:

• mellanox_perf ?? μέτρηση εύρους ζώνης/θυμητότητας σε επίπεδο προσαρμοστή
• ιβdiagnet ∆ επικύρωση υφασμάτων RoCE και διάγνωση καλωδίων
• εθτολ -S ∆ στατιστικά στοιχεία ανά ουρά και μετρητές εκφόρτωσης
• syslog/dmesg λογιστή και firmware παρακολούθηση γεγονότων

Οδηγίες βελτιστοποίησης:

• Ορίστε το NRPE (network receive pacing enabled) για την ορθότητα πολλαπλών ροών
• Ρυθμίστε τη συγχώνευση διακοπής (μετριοποίηση) με βάση τον τύπο φορτίου εργασίας
• Για φορτία εργασίας αποθήκευσης, συνδέστε ολοκλήρωση RDMA σε ειδικούς πυρήνες CPU
• ΧρήσηΕιδικές προδιαγραφές MCX4121A-ACATγια την επικύρωση των θερμικών ορίων υπό διαρκές φορτίο γραμμικής ταχύτητας

Όταν ο προϋπολογισμός και η προμήθεια γίνονται σκέψεις, ελέγξτεMCX4121A-ACAT τιμήτάσεις καιMCX4121A-ACAT προς πώλησηΗ προμήθεια σε όγκο μειώνει συνήθως το κόστος ανά μονάδα, εξασφαλίζοντας παράλληλα πραγματική υποστήριξη firmware.

6Συνοπτική & Αξιολόγηση

ΗΛύση κάρτας προσαρμογέα Ethernet MCX4121A-ACATπαράγει ποσοτικά οφέλη σε πολλαπλές διαστάσεις:

Πέρα από την ακατέργαστη απόδοση, η λύση μειώνει το συνολικό κόστος λειτουργίας με την ενοποίηση των δικτύων αποθήκευσης και δεδομένων σε ένα ενιαίο υλικό Ethernet χωρίς απώλειες.MCX4121A-ACATΕπιτρέπει στους οργανισμούς να διατηρήσουν τις υπάρχουσες επενδύσεις σε διακόπτες ενώ ξεκλειδώνουν τις δυνατότητες RDMA που είχαν προηγουμένως διατηρηθεί για το InfiniBand.Αυτό το προσαρμογέα παρέχει μια αποδεδειγμένη, κλιμακώσιμο μονοπάτι προς χαμηλής καθυστέρησης, υψηλής απόδοσης δικτύωσης διακομιστή.