NVIDIA Mellanox MCX631432AN-ADAB Τεχνική λύση: RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και ανύψωση της απόδοσης του διακομιστή

Αυτή η τεχνική λευκή βίβλος προορίζεται για αρχιτέκτονες δικτύου, μηχανικούς προπωλήσεων και υπεύθυνους λειτουργίας. Αναλυτικά πώς τοNVIDIA Mellanox MCX631432AN-ADABΟ προσαρμογέας διακομιστή επιτρέπει τη μεταφορά χαμηλής καθυστέρησης που βασίζεται σε RDMA/RoCE και βελτιώνει δραματικά την απόδοση διακομιστή σε σύγχρονα περιβάλλοντα κέντρων δεδομένων.

Η συμβατική δικτύωση TCP/IP επιβάλλει σημαντική επιβάρυνση της CPU λόγω επεξεργασίας πρωτοκόλλου, αντιγραφής δεδομένων και χειρισμού διακοπών. Καθώς οι πυκνότητες διακομιστών αυξάνονται και εφαρμογές όπως η κατανεμημένη αποθήκευση (Ceph, vSAN), οι βάσεις δεδομένων στη μνήμη (Redis, Aerospike) και τα πλαίσια εκπαίδευσης AI απαιτούν μονοψήφιο λανθάνοντα χρόνο μικροδευτερόλεπτων, οι παραδοσιακές στοίβες δικτύου γίνονται ανυπέρβλητα σημεία συμφόρησης. Οι βασικές απαιτήσεις περιλαμβάνουν: καθυστέρηση πρόσβασης αποθήκευσης κάτω των 300μs, χρήση CPU κάτω από 10% για επεξεργασία δικτύου, ταχύτητα γραμμής 25 GbE ανά θύρα και απρόσκοπτη ενοποίηση με την υπάρχουσα υποδομή μεταγωγής με δυνατότητα RoCE.

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια μη αποκλειστική τοπολογία ράχης-φύλλων με υποστήριξη RoCE v2. Κάθε κόμβος υπολογισμού ή αποθήκευσης είναι εξοπλισμένος με το迈络思(NVIDIA Mellanox) MCX631432AN-ADABπροσαρμογέα, που συνδέεται με διακόπτες φύλλων μέσω οπτικών 25 GbE SFP28. Οι διακόπτες φύλλων λειτουργούν με DCQCN (Ειδοποίηση Κβαντοποιημένης Συμφόρησης Κέντρου Δεδομένων) για έλεγχο συμφόρησης από άκρο σε άκρο. Το επίπεδο ελέγχου αξιοποιεί το PFC (Priority Flow Control) μόνο σε ουρές με προτεραιότητα απώλειας, ενώ το επίπεδο δεδομένων RDMA χρησιμοποιεί RoCE v2 με δρομολόγηση IP για να διασχίσει τα όρια του επιπέδου-3. Αυτός ο σχεδιασμός εξαλείφει τον αποκλεισμό της γραμμής και εξασφαλίζει ντετερμινιστικό λανθάνοντα χρόνο σε έως και 2000 κόμβους.

ΟΚάρτα προσαρμογέα Ethernet MCX631432AN-ADABχρησιμεύει ως το κρίσιμο τελικό σημείο για τις εκφορτώσεις RDMA. ΤουMCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25 GbE SFP28Το silicon ενσωματώνει RoCE που βασίζεται σε υλικό, αντιστοίχιση ετικετών και συγκρότημα πακέτων εκτός σειράς. Σε σύγκριση με το λογισμικό iWARP ή το kernel TCP, ο προσαρμογέας μειώνει την καθυστέρηση κατά πάνω από 70%. Για αρχιτέκτονες που αναφέρονται στοΦύλλο δεδομένων MCX631432AN-ADAB, οι βασικές εκφορτώσεις περιλαμβάνουν:

• Εκφόρτωση υλικού RoCE v2:Μετακίνηση δεδομένων μηδενικού αντιγράφου, καθυστέρηση θύρας σε θύρα κάτω από 600ns.
• Τιμόνι FlexFlow:Προγραμματιζόμενος αναλυτής πακέτων για κοκκώδη κατανομή ροής.
• Ενσωματωμένες μηχανές κρυπτογράφησης:IPsec/TLS με ρυθμό γραμμής χωρίς συμμετοχή της CPU.
• Τηλεμετρία & σήμανση ECN:Ορατότητα συμφόρησης σε πραγματικό χρόνο μέσω μετρητών SPIFFY.

Κατά την αξιολόγησηΠροδιαγραφές MCX631432AN-ADAB, σημειώστε ότι η κάρτα υποστηρίζει ταχύτητες 25GbE και 10GbE, επιτρέποντας τη σταδιακή μετεγκατάσταση. Επιπλέον, τοΣυμβατό με MCX631432AN-ADABΤο οικοσύστημα περιλαμβάνει όλους τους μεγάλους προμηθευτές διακομιστών, απλοποιώντας την πιστοποίηση.

Μια τυπική τοπολογία δύο επιπέδων για ένα σύμπλεγμα 500 κόμβων: κάθε rack περιέχει 20 διακομιστές, ο καθένας εξοπλισμένος με ένανNVIDIA Mellanox MCX631432AN-ADAB(και οι δύο θύρες είναι ενεργές για πλεονασμό ή συγκέντρωση εύρους ζώνης). Οι διακόπτες φύλλων συνδέονται με διακομιστές μέσω καλωδίων DAC 25 GbE SFP28 (έως 5 μέτρα) ή οπτικών AOC για μεγαλύτερες αποστάσεις. Το Spine-layer χρησιμοποιεί uplinks 100 GbE για να διατηρήσει την υπερσυνδρομή 4:1. Για την κυκλοφορία αποθήκευσης, αφιερώστε μία θύρα ανά προσαρμογέα στην κυκλοφορία υποστήριξης Ceph με RoCE, δεσμεύοντας τη δεύτερη θύρα για φόρτους εργασίας που αντιμετωπίζουν υπολογισμό. Η κλιμάκωση πέραν των 2000 κόμβων απαιτεί σχεδιασμό τριών επιπέδων υπερ-σπονδυλικής στήλης, με BGP-EVPN για διάδοση διαδρομής RoCE. Οι αρχιτέκτονες θα πρέπει να συμβουλεύονται τοΛύση κάρτας προσαρμογέα Ethernet MCX631432AN-ADABοδηγός για λεπτομερείς πίνακες καλωδίωσης και προϋπολογισμό ισχύος.

Μετά την ανάπτυξη, οι ομάδες λειτουργιών θα πρέπει να ενεργοποιήσουν τα NVIDIAmlx5ctlκαιettoolγια στατιστικά λιμένων σε πραγματικό χρόνο. Βασικές μετρήσεις για παρακολούθηση: παύσεις μετάδοσης RoCEv2 (που υποδεικνύουν καταιγίδες PFC), αναλογίες πακέτων με σήμανση ECN και θερμικές ενδείξεις προσαρμογέα. Για την αντιμετώπιση προβλημάτων υψηλής καθυστέρησης ουράς, επικυρώστε τοΠαράμετροι DCQCN(άλφα, βήτα και συντελεστής μείωσης ρυθμού) ευθυγραμμίζονται με τα προφίλ buffer διακόπτη. Χρησιμοποιήστε τοΦύλλο δεδομένων MCX631432AN-ADABγια την ερμηνεία προηγμένων μετρητών όπως "out_of_seq" και "retransmissions". Παρέχετε σενάρια αυτοματισμού για περιοδική απόρριψη/sys/class/infiniband/mlx5_*/ports/*/counters/. Για τον προγραμματισμό του κόστους, οι ομάδες προμηθειών μπορούν να λάβουνMCX631432AN-ADAB τιμήεκτιμήσεις και έλεγχοςΠωλείται MCX631432AN-ADABκαταχωρίσεις μέσω εξουσιοδοτημένων διανομέων· Η τιμή όγκου είναι διαθέσιμη για παραγγελίες άνω των 100 μονάδων.

ΟMCX631432AN-ADABπροσφέρει μια συναρπαστική πρόταση αξίας: καθυστέρηση αποθήκευσης κάτω από 300µs, λιγότερο από 5% επιβάρυνση της CPU για κίνηση 25 GbE με ρυθμό γραμμής και πλήρεις εκφορτώσεις RoCE v2 χωρίς αλλαγές στην εφαρμογή. Αντικαθιστώντας παλαιού τύπου στοίβες TCP με μεταφορά RDMA, οι οργανισμοί μπορούν να ανακτήσουν έως και 30% βασική χωρητικότητα για φόρτους εργασίας κρίσιμους για τις επιχειρήσεις. Σε σύγκριση με ανταγωνιστικούς προσαρμογείς 25 GbE, η αρχιτεκτονική ConnectX-6 Lx προσφέρει ανώτερους προγραμματιζόμενους αγωγούς και βάθος τηλεμετρίας. Αυτή η τεχνική λύση έχει επικυρωθεί σε περιβάλλοντα παραγωγής που καλύπτουν την αποθήκευση cloud, την προσομοίωση HPC και την ανάλυση σε πραγματικό χρόνο. Για ομάδες έτοιμες να υιοθετήσουν υφάσματα RoCE 25 GbE, τοNVIDIA Mellanox MCX631432AN-ADABαντιπροσωπεύει μια μελλοντική, οικονομικά αποδοτική βάση για δικτύωση διακομιστών χαμηλής καθυστέρησης και υψηλής απόδοσης.