RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και βελτίωση της απόδοσης του διακομιστή

April 28, 2026

RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και βελτίωση της απόδοσης του διακομιστή

Αυτό το τεχνικό white paper παρέχει στους αρχιτέκτονες, τους μηχανικούς προ πωλήσεων και τους επικεφαλής των επιχειρήσεων ένα ολοκληρωμένο σχεδιασμό αναφοράς με επίκεντρο τηνNVIDIA Mellanox MCX631432AN-ADABΗ λύση αντιμετωπίζει τις σύγχρονες προκλήσεις του κέντρου δεδομένων, δηλαδή, το CPU overhead από παλαιές στοιβάδες δικτύου, την ασυνεπή καθυστέρηση αποθήκευσης και το ελλιπώς χρησιμοποιημένο εύρος ζώνης 25GbEΠίνακας προσαρμογής Ethernet MCX631432AN-ADABως τον ακρογωνιαίο λίθο ενός υψηλής απόδοσης, συγκεντρωτικού υλικού RDMA/RoCE.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Τα συμβατικά δίκτυα κέντρων δεδομένων βασίζονται στο TCP / IP τόσο για την επεξεργασία όσο και για την κίνηση αποθήκευσης, αναγκάζοντας την CPU να επεξεργάζεται κάθε πακέτο.Επικαιροποιημένες συσκευές, ή φορτία εργασίας κατάρτισης τεχνητής νοημοσύνης, αυτή η προσέγγιση που βασίζεται σε λογισμικό δημιουργεί τρία θεμελιώδη προβλήματα: υψηλή και μεταβλητή καθυστέρηση (συχνά μεγαλύτερη από 50μs για τις εργασίες αποθήκευσης),σημαντική φορολογία CPU (30~60% για την επεξεργασία δικτύου)Καθώς το 25GbE γίνεται η τυποποιημένη ταχύτητα στρώματος πρόσβασης, αυτές οι αναποτελεσματικότητες δεν είναι πλέον αποδεκτές.Οι στόχοι για τη λύση αυτή είναι οι εξής:: υπο-5μs καθυστέρηση αποθήκευσης από άκρο σε άκρο, λιγότερη από 10% χρησιμοποίηση CPU για την Ε/Υ δικτύου και πλήρης χρησιμοποίηση των δύο θύρων 25GbE ανά διακομιστή.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου/συστήματος

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία δύο επιπέδων σπονδυλικής στήλης με απώλεια Ethernet στο στρώμα 2. Οι κόμβοι υπολογισμού και αποθήκευσης κατανέμονται ομοιόμορφα σε διακόπτες φύλλου,κάθε μία έχει ρυθμιστεί με PFC (Προτεραιότητα Ελέγχου ροής) και ECN (Ευκείμενη Ανακοίνωση Συγκέντρωσης) για να ενεργοποιήσει το RoCEv2Η βασική αρχιτεκτονική απόφαση είναι η ανάπτυξη τουMCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28Μια ειδική ουρά προτεραιότητας βασισμένη στο DSCP κατανέμεται για την κυκλοφορία RoCE, ξεχωριστά από την κυκλοφορία IP με τη βέλτιστη προσπάθεια.Η κεντρική διαχείριση χρησιμοποιεί το Cumulus Linux ή το SONiC της NVIDIA για τη διαμόρφωση των διακόπτες, ενώ η ορχήστρωση από την πλευρά του οικοδεσπότη αξιοποιεί το NVIDIA OFED stack.

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MCX631432AN-ADAB

Στο πλαίσιο αυτής της λύσης, ηMCX631432AN-ADABΗ τεχνολογία αυτή, η οποία χρησιμοποιείται για τη διαμόρφωση και την εκτέλεση των διακομιστών βασικών προϊό­ντων (commodity servers) σε κόμβους χαμηλής καθυστέρησης και υψηλής απόδοσης.Δελτίο δεδομένων MCX631432AN-ADAB, ο προσαρμογός ενσωματώνει αρκετές προηγμένες δυνατότητες:

  • Εγκατάσταση RDMA υλικού:Μηχανή πλήρους κατάστασης RoCEv2 σε πυρίτιο, που εξαλείφει την επεξεργασία μεταφορών με βάση το λογισμικό.
  • Δύο θύρες 25GbE SFP28:Υποστηρίζει τόσο την ενεργή οπτική όσο και την καλωδίωση DAC, με ανεξάρτητη επεξεργασία PPS ανά θύρα.
  • PCIe 4.0 x16 διεπαφή υποδοχής:Παρέχει έως και 200Gbps αμφίδρομο εύρος ζώνης, χωρίς να αφήνει κανένα πρόβλημα μεταξύ του προσαρμογέα και της μνήμης υποδοχής.
  • Επεξεργασία ενδογραμμικής κρυπτογράφησης:Επεξεργασία IPsec και TLS με ταχύτητα γραμμής, κρίσιμη για δίκτυα αποθήκευσης μηδενικής εμπιστοσύνης.
  • Επιτάχυνση NVMe-oF:Εφαρμογή των προδιαγραφών που καθορίζονται στο παράρτημα I του παρόντος κανονισμού.

Σύμφωνα με τον αξιωματούχοΕιδικότητες MCX631432AN-ADABΟ προσαρμογός παρέχει λιγότερη από 800ns καθυστέρηση υλικού και υποστηρίζει έως και 200 εκατομμύρια μηνύματα ανά δευτερόλεπτο.Οι εφαρμογές μπορούν να μεταβούν από τα sockets TCP στα RDMA verbs με ελάχιστες αλλαγές κώδικαΓια τους οργανισμούς που αξιολογούν αυτή τη λύση, είναι σημαντικό να σημειωθεί ότι ηΣυμφωνητικό με MCX631432AN-ADABΗ λίστα των διακομιστών περιλαμβάνει όλες τις μεγάλες πλατφόρμες OEM (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem και Supermicro) με πιστοποιημένους οδηγοί για RHEL, Ubuntu, Rocky Linux και Windows Server.

4Συστάσεις για την ανάπτυξη και την κλιμάκωση

Μια τυπική ανάπτυξη σε επίπεδο ράκ ακολουθεί αυτό το μοτίβο: κάθε κόμβος υπολογισμού ή αποθήκευσης λαμβάνει έναMCX631432AN-ADAB Ethernet λύση κάρτας προσαρμογέα, με τις διπλές θύρες του που είναι διαμορφωμένες σε ενεργό-ενεργό σύνδεση LACP για εφεδρικότητα ή ως ξεχωριστές διαδρομές υλικού (μία προς το φύλλο-Α, μία προς το φύλλο-Β).

  • Κάθε διακομιστής → δύο συνδέσεις 25GbE → δύο ξεχωριστοί διακόπτες φύλλου (υποστηρίζοντας failover χωρίς χτύπημα).
  • Επικοινωνίες με φύλλα → 100GbE uplinks → δύο σπονδυλικοί διακόπτες για μη αποκλεισμό πλήρους πλέγματος.
  • Ειδική σήμανση DSCP (π.χ. 46) για την κυκλοφορία RoCE σε όλους τους διακόπτες με ενεργοποιημένη PFC στην κατηγορία αυτή.

Για την κλιμακωτότητα πέραν των 200 διακομιστών, συνιστούμε την ανάπτυξη ξεχωριστού συμπλέγματος RoCE για αποθήκευση και υπολογισμό αντίστοιχα, ή τη χρήση πολιτικής QoS για να διασφαλιστεί ότι η κίνηση RoCE αποθήκευσης έχει προτεραιότητα.Η ρύθμιση του μπουφέρ στα διακόπτες φύλλων είναι επίσης κρίσιμηΟι οργανισμοί μπορούν να αναφερθούν στηνMCX631432AN-ADAB προς πώλησηΟι τιμές των πωλητώνMCX631432AN-ADAB τιμήΗ αποπληρωμή ανά κόμβο συνήθως πραγματοποιείται εντός έξι μηνών λόγω της εξοικονόμησης CPU και της αύξησης της αποδοτικότητας αποθήκευσης.

5Λειτουργίες, παρακολούθηση και ρύθμιση επιδόσεων

Μετά την ανάπτυξη, τα ακόλουθα εργαλεία και πρακτικές εξασφαλίζουν διαρκή χαμηλή καθυστέρηση:

  • Παρακολούθηση από την πλευρά του υποδοχής:Χρήσηmlx_perfκαιεθόλιο -Sγια την παρακολούθηση των μετρητών RDMA ανά ουρά, της επαναδιαβίβασης PCIe και των σημείων συμφόρησης RoCE.
  • Τηλεμετρία διακόπτη:Επιτρέψτε στα ιστόγραφα σήμανσης PFC και ECN να ανιχνεύουν το μπλοκάρισμα της κορυφής της γραμμής πριν επηρεάσει την παραγωγή.
  • Συνιστώσεις συντονισμού:Εγκατάστασηερqισορροπίαγια την απομόνωση πυρήνων CPU για ουρές ολοκλήρωσης RDMA. αύξηση του μέγιστου μεγέθους αίτησης ανάγνωσης PCIe σε 4096 bytes. απενεργοποίηση ECN στην ουρά καλύτερης προσπάθειας για την αποφυγή ψευδών σημάτων συμφόρησης.
  • Ο κύκλος ζωής του λογισμικού σταθεροποίησης και των οδηγών:Υπογράψτε τις σημειώσεις κυκλοφορίας της NVIDIA OFED.Πίνακας προσαρμογής Ethernet MCX631432AN-ADABυποστηρίζει την αναβάθμιση του ενσωματωμένου λογισμικού χωρίς επανεκκίνηση του host λόγω διπλών τραπεζών εικόνας.

Για την αντιμετώπιση προβλημάτων, οι ενσωματωμένοι μετρητές σφαλμάτων του προσαρμοστή (π.χ. σφάλματα συμβόλων, αποτυχίες ακεραιότητας τοπικών συνδέσεων) παρέχουν γρήγορη διάγνωση.Συμφωνητικό με MCX631432AN-ADABμήτρα διαλειτουργικότητας που συντηρείται από την NVIDIA.

6Συνοπτική & Αξιολόγηση

ΗNVIDIA Mellanox MCX631432AN-ADAB- βασισμένη λύση παρέχει μετρήσιμη αξία σε τρεις διαστάσεις: απόδοση, TCO και απλότητα λειτουργίας.και επεξεργασία πρωτοκόλλου αποθήκευσης από την CPU στον προσαρμογέαΤο σχέδιο διπλής θύρας 25GbE διασφαλίζει τη σύνδεση διακομιστών μελλοντικά,και η ώριμη NVIDIA OFED στούντιο λογισμικού μειώνει τον κίνδυνο ενσωμάτωσηςΓια τους αρχιτέκτονες που σχεδιάζουν την ανάπτυξη 25GbE ή τον εκσυγχρονισμό υφιστάμενης υποδομής TCP, αυτή η τεχνική λύσηMCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28∙ αντιπροσωπεύει μια αποδεδειγμένη, επεκτατική και επενδυτικά προστατευμένη πορεία για την επιτυχία της RDMA/RoCE.