Τεχνικό έγγραφο Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter

Αυτό το τεχνικό whitepaper έχει σχεδιαστεί για τους αρχιτέκτονες δικτύων, τους μηχανικούς προ πωλήσεων και τους διευθυντές επιχειρήσεων.Mellanox (NVIDIA Mellanox) MCX623106AN-CDATΤο έγγραφο καλύπτει το αρχιτεκτονικό σχεδιασμό, τα βασικά τεχνικά χαρακτηριστικά, τις τεχνικές προδιαγραφές και τις τεχνικές προδιαγραφές.στρατηγικές ανάπτυξης και κλιμάκωσης, καθώς και τις εργασίες και την παρακολούθηση, παρέχοντας πρακτικές κατευθυντήριες γραμμές για την πραγματική εφαρμογή.

Τα σύγχρονα κέντρα δεδομένων αντιμετωπίζουν τρεις βασικές προκλήσεις: η CPU γίνεται ένα μπουκάλιο δικτύου, υπερβολική καθυστέρηση πρόσβασης σε αποθήκευση και ανεξέλεγκτο κόστος επικοινωνίας για κατανεμημένες εφαρμογές.Η παραδοσιακή στοίβα πρωτοκόλλου TCP/IP καταναλώνει πάνω από το 30% των πόρων της CPU για την επεξεργασία πρωτοκόλλου και την αντιγραφή δεδομένων κατά τη διάρκεια παράλληλης επικοινωνίας μεγάλης κλίμακαςΕν τω μεταξύ, εφαρμογές όπως το NVMe over Fabrics, τα διανεμημένα πλαίσια μάθησης μηχανών (π.χ. NCCL),και σε μνήμη βάσεις δεδομένων απαιτούν υπο-20 μικροδευτερόλεπτο από άκρο σε άκρο καθυστέρησηΑυτό που χρειάζεται επειγόντως είναι μια λύση που να παρακάμπτει τον πυρήνα και να παρέχει μεταφορά σε επίπεδο υλικούMCX623106AN-CDATσε συνδυασμό με λύσεις τεχνολογίας RoCE.

Η λύση αυτή υιοθετεί μια τοπολογία δύο στρωμάτων Spine-Leaf.NVIDIA Mellanox MCX623106AN-CDATΟι διακόπτες Leaf είναι διαμορφωμένοι για λειτουργία RoCE χωρίς απώλειες, επιτρέποντας PFC (Προτεραιότητα Ελέγχου ροής) και ECN (Ευκείμενη Ανακοίνωση Συγκέντρωσης),με ειδική ουρά προτεραιότητας που κατανέμεται για την κυκλοφορία RoCEΟι βασικές αρχές σχεδιασμού περιλαμβάνουν:

• Διαχωρισμός των επιπέδων ελέγχου και δεδομένων: Οι ροές δεδομένων RoCE επεξεργάζονται εξ ολοκλήρου από το υλικό του προσαρμογέα, ενώ τα πρωτόκολλα ελέγχου (π.χ. ARP, DHCP) εξακολουθούν να ακολουθούν την παραδοσιακή διαδρομή.
• Συνολικό ύφασμα: Το Ethernet μεταφέρει τόσο την τυπική κίνηση TCP/IP όσο και την κίνηση RoCE, με την απομόνωση QoS να επιτυγχάνεται μέσω της σήμανσης DSCP.
• Διαχείριση συμφόρησης από άκρο σε άκρο: Βασίζεται στον αλγόριθμο DCQCN, δημιουργώντας έναν μηχανισμό ανατροφοδότησης κλειστού κυκλώματος μεταξύ προσαρμογών πηγής και διακόπτες.

ΗΠίνακας προσαρμογής Ethernet MCX623106AN-CDATΟ σχεδιασμός του με δύο θύρες 100GbE μπορεί να συνδεθεί με διαφορετικούς διακόπτες Leaf για εφεδρικότητα ή να παρέχει φυσική απομόνωση μεταξύ της αποθήκευσης και της κυκλοφορίας υπολογιστών.

Ως βασικό στοιχείο του σχεδίου δεδομένων αυτής της λύσης, ηMCX623106AN-CDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeπαρέχει τις ακόλουθες αποφασιστικές ικανότητες:

• Εργαλεία RoCE κινητήρα εκφόρτωσης: χειρίζεται την επεξεργασία του στρώματος μεταφοράς (τομή, επανασυναρμολόγηση, επιβεβαίωση, επαναδιαβίβαση) χωρίς παρέμβαση του host CPU.
• Δυναμικές εκφορτώσεις ConnectX: Διανέμει αυτόματα την κυκλοφορία πολλών ουρών, βελτιώνοντας την απόδοση σε διακομιστές πολλών πυρήνων.
• PCIe 4.0 x16 διεπαφή υποδοχής: Θεωρητικό εύρος ζώνης 256Gb/s, εξασφαλίζοντας μηδενικό πρόβλημα για την προώθηση γραμμικού ρυθμού.
• Προηγμένη αποθήκευση: Υποστηρίζει την επιτάχυνση υλικού για NVMe μέσω Fabrics, συμπεριλαμβανομένης της αναζήτησης namespace και των ελέγχων ακεραιότητας δεδομένων.

Σύμφωνα με τηνΔελτίο δεδομένων MCX623106AN-CDATκαι διαθέσιμα στο κοινόΕιδικότητες MCX623106AN-CDAT, αυτός ο προσαρμογός επιτυγχάνει καθυστέρηση υπο-600 νανοδευτερολέπτων από θύρα σε θύρα και υποστηρίζει ταχύτητες επεξεργασίας πακέτων έως 200 εκατομμυρίων πακέτων ανά δευτερόλεπτο.MCX623106AN-CDAT τιμήείναι εξαιρετικά ανταγωνιστική μεταξύ συγκρίσιμων προσαρμογών RoCE 100GbE, καιMCX623106AN-CDAT προς πώλησηΠροτού γίνει η επιλογή, είναι σκόπιμο να επιβεβαιωθεί ότι τα μοντέλα διακομιστών εμφανίζονται στο διαδίκτυο.Συνεργαζόμενη με MCX623106AN-CDATΟ κατάλογος των βασικών πλατφορμών OEM έχει επικυρωθεί.

Τυπική περιγραφή τοπολογίας:
Μια αρχιτεκτονική Clos που αποτελείται από 2 διακόπτες Spine και 4 διακόπτες Leaf.MCX623106AN-CDATΟι πόρτες Leaf uplink συνδέονται με τις Spines σε αναλογία υπεραπογραφής 4:1. Ένα ειδικό VLAN χρησιμοποιείται για την κίνηση RoCE.

Βήματα ανάπτυξης:

• Βήμα 1: Η φυσική εγκατάστασηMCX623106AN-CDATσε μια υποδοχή PCIe 4.0 x16, στη συνέχεια εγκαταστήστε το τελευταίο firmware και τον οδηγό NVIDIA MLNX_OFED.
• Βήμα 2: στους διακόπτες, ρυθμίστε το PFC (υποστηρίζεται προτεραιότητα 3) και το ECN (καθορίστε Kmin/Kmax) για την κίνηση RoCE.
• Βήμα 3: Στο λειτουργικό σύστημα, ενεργοποιήστε τη λειτουργία RoCEv2 και ρυθμίστε τις παραμέτρους DCQCN (αρχικές τιμές: α=1, β=1, χρονόμετρο 100μs).
• Βήμα 4: Χρησιμοποιήστε τα εργαλεία ib_write_bw και ib_write_lat για την επαλήθευση της βασικής γραμμής απόδοσης.

Συστάσεις για την κλιμάκωση:Όταν η κλίμακα του cluster υπερβαίνει τους 500 κόμβους, εξετάστε την ενεργοποίηση του ελέγχου ροής (PPC) του προσαρμογέα και των πινάκων χαρτογράφησης QoS και εξετάστε τη χρήση πολλαπλών προτεραιοτήτων RoCE για να αποφευχθεί το μπλοκάρισμα της κεφαλής της γραμμής.

Οι ομάδες λειτουργίας μπορούν να χρησιμοποιήσουν τα ακόλουθα εργαλεία για την παρακολούθηση της υγείας τουMCX623106AN-CDAT Ethernet λύση κάρτας προσαρμογέα:

• mlxconfig / mlxfwmanager: Διαμορφώστε τις παραμέτρους του firmware και διαχειριστείτε τις αναβαθμίσεις του firmware.
• εθόλιο -S: Δείτε τους μετρητές μετάδοσης/αποδοχής RoCE και τους αριθμούς πλαισίων παύσης PFC.
• ιβδιαγνώριση: Εκτέλεση ολοκληρωμένης διαγνωστικής δικτύου RoCE για την ανίχνευση περιττών καταιγίδων PFC.
• Τηλεμετρία και HIST: Χρησιμοποιήστε ενσωματωμένους πίνακες ιστορικής κατανομής καθυστέρησης στον προσαρμογέα για τον εντοπισμό ανωμαλιών καθυστέρησης ουράς.

Κοινή αντιμετώπιση προβλημάτων:

• Η απόδοση είναι χαμηλότερη από τις προσδοκίες: Ελέγξτε την κατάσταση διαπραγμάτευσης PCIe (πρέπει να είναι Gen4 x16) και βεβαιωθείτε ότι η MTU είναι ομοιόμορφα ρυθμισμένη σε 9000 jumbo frames.
• Ατυχίες σύνδεσης RoCE: Ελέγξτε τη χαρτογράφηση DSCP και τη διαμόρφωση VLAN, διασφαλίζοντας ότι ο διακόπτης δεν αφήνει πακέτα με σήμα RoCE.
• Υψηλή χρήση CPU: Αυτό μπορεί να υποδηλώνει ότι δεν είναι ενεργοποιημένη η εκφόρτωση του υλικού. Ελέγξτε τις ρυθμίσεις εκφόρτωσης ethtool.

Συστάσεις βελτιστοποίησης:Για εφαρμογές εξαιρετικά ευαίσθητες στην καθυστέρηση (π.χ. διαπραγμάτευση υψηλής συχνότητας, αναπαραγωγή ημερολογίου RDMA),να εξετάσει την αλλαγή του τύπου υπηρεσίας RoCE από "συνδεδεμένο" σε "datagram" και να απενεργοποιήσει τον έλεγχο συμφόρησης.

Η λύση RDMA/RoCE που βασίζεται στηνMCX623106AN-CDATμειώνει την καθυστέρηση από άκρο σε άκρο για κατανεμημένες εφαρμογές κατά σειρά μεγέθους (από εκατοντάδες μικροδευτερόλεπτα σε δεκάδες μικροδευτερόλεπτα) χωρίς να αντικαθιστά την υφιστάμενη υποδομή Ethernet,ενώ ταυτόχρονα απελευθερώνει 20~30% των πόρων υπολογισμού του CPUΓια σενάρια όπως η εκπαίδευση της τεχνητής νοημοσύνης, η υπερσυγκεντρωμένη αποθήκευση και η ανάλυση σε πραγματικό χρόνο, αυτό μεταφράζεται απευθείας σε συντομότερους χρόνους ολοκλήρωσης εργασίας και υψηλότερη πυκνότητα διακομιστή.MCX623106AN-CDAT Ethernet λύση κάρτας προσαρμογέα, αποδεικνύει ότι το "lossless Ethernet + smart NIC" είναι μια βιώσιμη πορεία για την επίτευξη τόσο υψηλής απόδοσης όσο και χαμηλής καθυστέρησης.Δελτίο δεδομένων MCX623106AN-CDAT, παρακαλούμε ανατρέξτε στην επίσημη τεκμηρίωση της NVIDIA ή επικοινωνήστε με την ομάδα αρχιτεκτονικής λύσεων.