Τεχνική Λευκή Βίβλος NVIDIA Mellanox MCX653106A-HDAT Server Adapter

Το παρόν τεχνικό white paper απευθύνεται σε αρχιτέκτονες δικτύων, μηχανικούς προ πωλήσεων και διευθυντές επιχειρήσεων.Δίκτυα κέντρων δεδομένων χαμηλής καθυστέρησης που χρησιμοποιούν τοNVIDIA Mellanox MCX653106A-HDATτο NIC του διακομιστή, με επίκεντρο τη μεταφορά RDMA/RoCE και τα μετρήσιμα κέρδη απόδοσης του διακομιστή.

Τα σύγχρονα φορτία εργασίας κέντρων δεδομένων, συμπεριλαμβανομένων των υλικών αποθήκευσης NVMe-oF, της διανεμημένης κατάρτισης τεχνητής νοημοσύνης, της διαπραγμάτευσης υψηλής συχνότητας και της ανάλυσης σε πραγματικό χρόνο, θέτουν ακραίες απαιτήσεις στην υποδομή δικτύου.Η παραδοσιακή επεξεργασία στοιβάδων TCP/IP εισάγει τρία θεμελιώδη στενά σημεία: υψηλό κόστος επεξεργασίας CPU (συχνά υπερβαίνει το 50% των κύκλων πυρήνα), μεταβλητή καθυστέρηση λόγω περιορισμών παράκαμψης πυρήνα και μειωμένη αποτελεσματική απόδοση από το κόστος επεξεργασίας πρωτοκόλλου.Οι οργανισμοί απαιτούν μια λύση που παρέχει εύρος ζώνης με ρυθμό γραμμής με καθυστέρηση κάτω του μικροδευτερόλεπτου, απελευθερώνοντας παράλληλα πόρους CPU για λογική εφαρμογήςΟι βασικές απαιτήσεις περιλαμβάνουν RDMA χωρίς εξοπλισμό, μεταφορά RoCE χωρίς απώλειες, απρόσκοπτη ολοκλήρωση με υπάρχοντα υλικά Ethernet,και ολοκληρωμένα εργαλεία λειτουργίας για παρακολούθηση και αντιμετώπιση προβλημάτων.

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια διεπίπεδη τοπολογία Clos (spine-leaf) βελτιστοποιημένη για τη μεταφορά RoCE.Ενισχυμένη επιλογή μετάδοσης) διαμορφωμένη για να εγγυάται τη συμπεριφορά χωρίς απώλειες για την κίνηση RDMAΚάθε σύνδεσμος υπολογισμού και αποθήκευσης ενσωματώνει τοΠίνακας προσαρμογής MCX653106A-HDAT Ethernet, η οποία συνδέεται με διακόπτες φύλλου μέσω διπλών θύρων 100GbE που είναι διαμορφωμένες σε ενεργό-ενεργό σύνδεση.Η αρχιτεκτονική διαχωρίζει την κίνηση RDMA (ειδικευμένη ουρά προτεραιότητας με ενεργοποιημένη PFC) από την κανονική κίνηση TCP/IP (ουρά βέλτιστης προσπάθειας)Η διαίρεση VLAN απομονώνει τους τομείς RDMA ενώ η δρομολόγηση χειρίζεται την επικοινωνία μεταξύ υποδίκτυων όπου απαιτείται.

ΗMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeΧτισμένο στην αρχιτεκτονική ConnectX-6 με PCIe 4.0 x16 host interface,Παρέχει διπλή απόδοση 100GbE (ή 200GbE με μία θύρα) με καθυστέρηση κάτω των 600ns υπό φόρτωση RDMAΤα βασικά χαρακτηριστικά που αξιοποιούνται σε αυτό το σχέδιο περιλαμβάνουν:

• Ενεργειακό RDMA & RoCE Offload:Υποστηρίζει τόσο το RoCE v1 όσο και το v2.
• Επιταχυντής NVMe-oF:Λογική υλικού που επιταχύνει τις εντολές NVMe, μειώνοντας την καθυστέρηση πρόσβασης αποθήκευσης κατά περισσότερο από 80% σε σύγκριση με τους στόχους λογισμικού.
• Προγραμματιζόμενη διαδρομή δεδομένων (ASAP2):Επιτρέπει την ευέλικτη επεξεργασία πακέτων και την αποφόρτιση των δικτύων επικάλυψης (VXLAN, GENEVE).
• Πολυ-Host και GPU Direct RDMA:Η απευθείας επικοινωνία peer-to-peer μεταξύ GPUs σε κόμβους χωρίς παρέμβαση CPU είναι κρίσιμη για τα clusters AI.
• Τηλεμετρία και έλεγχο συμφόρησης:Η παρακολούθηση ροής με βάση το υλικό, η σήμανση ECN και ο δυναμικός περιορισμός του ρυθμού.

Μηχανικοί που εξετάζουν τηνΔελτίο δεδομένων MCX653106A-HDATΗ νέα έκδοση θα έχει υποστήριξη τόσο για τα τυποποιημένα όσο και για τους παράγοντες φόρμας OCP 3.0, ολοκληρωμένη κάλυψη λειτουργικών συστημάτων (διανομές Linux με MLNX_OFED, Windows, ESXi) και ευρεία συμβατότητα διακομιστών.Ειδικότητες MCX653106A-HDATεπιβεβαιώνει επίσης τη μέγιστη κατανάλωση ισχύος 75W και θερμοκρασίες λειτουργίας από 0 °C έως 55 °C, κατάλληλες για εφαρμογές υψηλής πυκνότητας.

Η ανάπτυξη ακολουθεί μια σταδιακή προσέγγιση.

Βήματα ανάπτυξης:

1. Βήμα 1 ∆εβαίωση:Επιβεβαιώστε.Συμφωνία MCX653106A-HDATΧρησιμοποιήστε τη μήτρα συμβατότητας από τοΔελτίο δεδομένων MCX653106A-HDAT.
2. Βήμα 2 Εγκατάσταση οδηγού:Εφαρμόστε το πακέτο προγράμματος οδήγησης MLNX_OFED (ελάχιστη έκδοση 5.8) σε όλους τους κόμβους.
3. Βήμα 3 ∆ιαμόρφωση υφάσματος:Ενεργοποιήστε PFC (προτεραιότητα 3 για RDMA) και ETS στους διακόπτες φύλλων.
4. Βήμα 4 ∆ιαμόρφωση RoCE:Διαμορφώστε κάθεΠίνακας προσαρμογής MCX653106A-HDAT Ethernetμε RoCE v2 (routable) ή v1 (non-routable). Ορίστε τη λειτουργία GID σε RoCE v2 με διευθύνσεις IPv4.
5. Βήμα 5 Επαλήθευση:Εκτελέστε ib_write_bw και ib_send_lat δοκιμές μεταξύ των κόμβων για να επικυρώσετε το εύρος ζώνης και την καθυστέρηση.Πυροσβεστικήκαιmlnx_perf.

Για την κλιμάκωση πέραν των 16 κόμβων, μετάβαση σε μια τοπολογία σπονδυλικής στήλης με περιττά σπονδυλικά διακόπτες που υποστηρίζουν έως και 128 κόμβους.Λύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATΤο RoCE χρησιμοποιεί το ECMP για την κατανομή φορτίου σε πολλαπλές διαδρομές.

Για την αποτελεσματική λειτουργία των περιβάλλοντων RDMA/RoCE απαιτούνται εξειδικευμένα εργαλεία.

• Ανίχνευση συμφόρησης:Παρακολουθήστε τα πλαίσια παύσης PFC ανά θύρα χρησιμοποιώντας τηλεμετρία διακόπτη (π.χ. Mellanox SHARP).
• Βασικό επίπεδο επιδόσεων:Χρήσηmlx5cmdκαιεθόλιο -SΣυγκεντρώνει RDMA μετρητές ανά ουρά, εντοπίζει μη-απαραίτητες ολοκλήρωσεις και επαναμεταδόσεις.
• Εναλλακτικές τεχνικές:Ενεργοποιήστε την ρητή ειδοποίηση συμφόρησης (ECN) στους διακόπτες και ρυθμίστε τις παραμέτρους δυναμικού ελέγχου συμφόρησης (DCQCN) στοMCX653106A-HDATοδηγός (π.χ.dcqcn_r_ai=40,dcqcn_r_hai=10)).
• Ανάλυση ημερολογίου:Επισκόπηση/var/log/ μηνύματαγια αποτυχίες σύνδεσης RDMA (π.χ., mlx5_core: απέτυχε να δημιουργήσει QP). Ελέγξτε αν οι δείκτες GID ταιριάζουν μεταξύ των τερματικών σημείων.
• Ενημερώσεις λογισμικού:Ενημερώστε τακτικά το NIC firmware μέσωΔιοικητής του Mlxfwm. τοΕιδικότητες MCX653106A-HDATΣυνιστώ μια βασική τιμή λογισμικού xx.36.1010 ή μεταγενέστερη για βέλτιστη απόδοση RoCE.
• Σχεδιασμός δυναμικότητας:Για οργανισμούς που εκτιμούνMCX653106A-HDAT τιμήκαιMCX653106A-HDAT προς πώλησηΟι τιμές αυτές είναι οι ακόλουθες:

Ένα κοινό σενάριο αντιμετώπισης προβλημάτων: η μονόδρομη υψηλή καθυστέρηση με μηδενική απώλεια πακέτων συχνά υποδεικνύει λανθασμένα όρια ECN ή ασύμμετρες ρυθμίσεις PFC.εκατομμύρια χιλιάδεςγια την επαλήθευση της αντιστοίχισης της κατάστασης εμπιστοσύνης και του DSCP με την προτεραιότητα σε όλα τα στοιχεία του δικτύου.

ΗNVIDIA Mellanox MCX653106A-HDATΗ NIC διακομιστή παρέχει μια έτοιμη για παραγωγή βάση για την ανάπτυξη δικτύων RDMA/RoCE υψηλής απόδοσης.

• Απόδοση:Μέχρι 200Gb/s απόδοση ανά προσαρμογέα με καθυστέρηση κάτω του μικροδευτερόλεπτου, επιτρέποντας την αποθήκευση με κλίμακα και κατανεμημένους φόρτους εργασίας υπολογιστών που περιορίζονταν προηγουμένως από το TCP overhead.
• Αποτελεσματικότητα:Η αποφόρτιση υλικού μειώνει την κατανάλωση CPU που σχετίζεται με το δίκτυο από > 50% σε λιγότερο από 15%, απελευθερώνοντας πυρήνες για την επεξεργασία εφαρμογών.
• Το κόστος εκτέλεσης:ΗΛύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATμειώνει τον απαιτούμενο αριθμό κόμβων για έναν δεδομένο στόχο απόδοσης, μειώνοντας τα κεφαλαιακά και λειτουργικά έξοδα.MCX653106A-HDAT τιμή, εξετάζεται η περίοδος αποπληρωμής 9-12 μηνών μόνο από τα κέρδη αποδοτικότητας.
• Προετοιμασία για το μέλλον:Η υποστήριξη για PCIe 5.0 (ανάδρομη συμβατότητα) και προγραμματισμό μέσω DOCA εξασφαλίζει την προστασία των επενδύσεων καθώς οι ταχύτητες κέντρων δεδομένων μετακινούνται σε 200/400GbE.

Για τους αρχιτέκτονες που αναζητούν ένα πρότυπο σχεδιασμού που έχει δοκιμαστεί στην παραγωγή, η λύση αυτή ενσωματώνεται απρόσκοπτα στις υπάρχουσες λειτουργίες Ethernet, απελευθερώνοντας παράλληλα το πλήρες δυναμικό του RDMA.Δελτίο δεδομένων MCX653106A-HDATΓια τις κατευθυντήριες γραμμές για τις προμήθειες, συμπεριλαμβανομένων των σημερινώνMCX653106A-HDAT τιμήκαιMCX653106A-HDAT προς πώλησηΧρονοδιαγράμματα, επικοινωνήστε με εξουσιοδοτημένους συνεργάτες διανομής της NVIDIA Mellanox.