NVIDIA Mellanox MCX4121A-ACAT Server Adapter Τεχνική λύση: Αρχιτεκτονική RDMA/RoCE για χαμηλή καθυστέρηση και μέγιστη

1. Ανάλυση του ιστορικού και των αναγκών του έργου

Τα σύγχρονα κέντρα δεδομένων βρίσκονται υπό συνεχή πίεση για να υποστηρίξουν όλο και πιο απαιτητικά φορτία εργασίας, συμπεριλαμβανομένων των αναλύσεων σε πραγματικό χρόνο, της εκπαίδευσης κατανεμημένης μηχανικής μάθησης,και υψηλής απόδοσης αποθήκευση που καθορίζεται από λογισμικόΟι παραδοσιακές αρχιτεκτονικές δικτύων, οι οποίες βασίζονται σε μεγάλο βαθμό στην στοίβα TCP/IP, εισάγουν σημαντική καθυστέρηση και έξοδα CPU.Η προσέγγιση της "παρακάμψης πυρήνα" δεν γίνεται μόνο ένα πλεονέκτημα, αλλά μια αναγκαιότητα.Οι αρχιτέκτονες δικτύων και οι μηχανικοί αποθήκευσης αναζητούν λύσεις που μπορούν να απελευθερώσουν το πλήρες δυναμικό των αρχιτεκτονικών NVMe-oF και microservices χωρίς να απαιτείται πλήρης αναθεώρηση της υποδομήςΟι βασικές απαιτήσεις που εντοπίζονται σε μια τυπική ανάπτυξη μεγάλης κλίμακας περιλαμβάνουν καθυστέρηση μικρότερη των 10 μικροδευτερόλεπτων για την κυκλοφορία αποθήκευσης, μείωση κατά 40% του επιπλέον κόστους της CPU για την Ε/Ε δικτύου,και ένα ενοποιημένο υλικό ικανό να μεταφέρει τόσο την τυπική κίνηση TCP/IP όσο και τη διακίνηση RDMA με εξαιρετικά χαμηλή καθυστέρηση.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου και συστήματος

Η προτεινόμενη αρχιτεκτονική επικεντρώνεται σε ένα μη-απολεστικό, συγκεντρωτικό ιστό Ethernet που έχει σχεδιαστεί για να υποστηρίζει τόσο την τυπική κίνηση LAN όσο και την κίνηση αποθήκευσης μέσω της ίδιας φυσικής υποδομής.Ο σχεδιασμός αξιοποιεί μια τοπολογία φύλλου-σπονδυλικής στήλης με RoCE (RDMA πάνω από το Converged Ethernet) - ικανές διακόπτεςΟι βασικές αρχές σχεδιασμού περιλαμβάνουν:

• Συγκεντρωμένο ύφασμα:Ένα ενιαίο δίκτυο 25GbE μεταφέρει όλους τους τύπους κυκλοφορίας, εξαλείφοντας την ανάγκη για ξεχωριστά δίκτυα αποθήκευσης και δεδομένων (σύγκλιση LAN/SAN).
• Ίδρυμα Χωρίς Απώλειες Ethernet:Εφαρμογή ελέγχου ροής προτεραιότητας (PFC, IEEE 802.1Qbb) και βελτιωμένης επιλογής μετάδοσης (ETS, IEEE 802.1Qaz) για τη δημιουργία μιας κατηγορίας υπηρεσιών χωρίς απώλειες για την κυκλοφορία RDMA,Αποτροπή των πτώσεων πακέτων που διαφορετικά θα προκαλούσαν καταστροφικές αυξήσεις καθυστέρησης.
• RDMA από άκρο σε άκρο:Εφαρμογή RoCEv2, η οποία λειτουργεί στο στρώμα δικτύου, επιτρέποντας στο RDMA να διασχίσει τα όρια του L3 και να κλιμακωθεί πέρα από έναν ενιαίο τομέα μετάδοσης, σε αντίθεση με το RoCEv1.

Μέσα σε αυτή την αρχιτεκτονική, το τελικό σημείο του διακομιστή είναι το πιο κρίσιμο συστατικό.NVIDIA Mellanox MCX4121A-ACATΟ προσαρμογός διακομιστή διαδραματίζει τον βασικό του ρόλο, ενεργώντας ως η έξυπνη διεπαφή που εκτελεί το πρωτόκολλο RoCE και αποφορτώνει σύνθετες λειτουργίες δικτύου από τον host CPU.

3Ο ρόλος του NVIDIA Mellanox MCX4121A-ACAT στην λύση

ΗΠίνακας προσαρμογής Ethernet MCX4121A-ACATΤο σύστημα αυτό βασίζεται στον ελεγκτή ConnectX-4 Lx.MCX4121A-ACAT ConnectX-4 Lx διπλής θύρας 25GbE SFP28Η προσαρμογή προσφέρει την επιτάχυνση υλικού που είναι απαραίτητη για την επίτευξη των στόχων του έργου.

• Μηχανή RoCE υλικού:Ο προσαρμογός εφαρμόζει ολόκληρο το πρωτόκολλο RoCEv2 σε πυρίτιο. Αυτό σημαίνει ότι οι εργασίες RDMA, συμπεριλαμβανομένων των λειτουργιών ανάγνωσης / εγγραφής μνήμης και αποστολής / λήψης, επεξεργάζονται εξ ολοκλήρου στο NIC,παρακάμπτοντας τον πυρήνα και εξαλείφοντας τους διακόπτες περιβάλλοντοςΑυτός είναι ο κύριος μηχανισμός για την επίτευξη υπο-10 μικροδευτερόλεπτων καθυστέρησης εφαρμογής σε εφαρμογή.
• Επικαιροποίηση:Για την κυκλοφορία αποθήκευσης, ηMCX4121A-ACATΥποστηρίζει το NVMe over Fabrics (NVMe-oF) με RDMA. Απαλλάσσει την επεξεργασία ζεύξης ουράς NVMe, επιτρέποντας στον στόχο αποθήκευσης ή τον αρχηγό να χειριστεί εκατομμύρια IOPS με ελάχιστη παρέμβαση της CPU.
• Δυναμική διακοπή μετριοποίησης:Ο προσαρμογός μετριοποιεί έξυπνα τις διακοπές, ενώνοντάς τις με βάση το φορτίο της κυκλοφορίας.Αυτό μειώνει το υπερχρέωμα του host CPU κατά τη διάρκεια σεναρίων υψηλής απόδοσης, διατηρώντας ταυτόχρονα χαμηλή καθυστέρηση για ευαίσθητη κίνηση επιτρέποντας στις διακοπές για συγκεκριμένες ουρές να παρακάμπτουν τη μετριοποίηση.
• Εξυπηρέτηση της ποιότητας της υπηρεσίας (QoS):Υποστηρίζει QoS βασισμένο σε υλικό, επιτρέποντας στους αρχιτέκτονες να αναθέτουν διαφορετικές τάξεις κυκλοφορίας (π.χ. αποθήκευση, διαχείριση, υπολογισμός) σε διαφορετικές ουρές προτεραιότητας.Αυτό εξασφαλίζει ότι η κίνηση RDMA λαμβάνει εγγυημένο εύρος ζώνης και χαμηλή καθυστέρηση, ακόμη και σε περίπτωση συμφόρησης του δικτύου.

4Συστάσεις για την ανάπτυξη και την κλιμάκωση

Η ακόλουθη τοπολογία και τα βήματα περιγράφουν μια τυπική υλοποίηση:

• Πιλοτική φάση:Εφαρμόστε ένα μικρό σύμπλεγμα από διακομιστές αποθήκευσης και κόμβους υπολογισμού, ο καθένας εξοπλισμένος με τοMCX4121A-ACATΕπικυρώστε τη διαμόρφωση PFC/ETS για να διασφαλιστεί ένα μη-απολεστικό υλικό για την κυκλοφορία RoCE.
• Ενσωμάτωση και δοκιμές:Διαμορφώστε τοΛύση κάρτας προσαρμογέα Ethernet MCX4121A-ACATΧρησιμοποιήστε τους συνιστώμενους οδηγοί και εργαλεία της NVIDIA όπωςΠερφέστεργια τη μέτρηση της βασικής καθυστέρησης (ib_send_lat) και του εύρους ζώνης (ib_send_bw).
• Σκάλωση του υφάσματος:Όταν ο πιλότος είναι σταθερός, κλιμακώστε σε μια πλήρη τοπολογία φύλλου-αστέρας. Βεβαιωθείτε ότι οι διακόπτες σπονδυλικής στήλης είναι επίσης RoCE-conscious για να διατηρήσουν τα σήματα QoS χωρίς απώλεια σε όλο το δίκτυο.NVIDIA Mellanox MCX4121A-ACATΕπιτρέπει την ενεργό/ετοιμασία ή 802.3ad σύνδεση συγκέντρωση για την εφεδρικότητα και την αύξηση της απόδοσης.
• Έλεγχοι συμβατότητας:Πάντα να επαληθεύετεΣυμβατό με MCX4121A-ACATΤο υλικόΕιδικές προδιαγραφές MCX4121A-ACATκαιΔελτίο δεδομένων MCX4121A-ACATΓια τον προγραμματισμό των προμηθειών, οι προμηθευτές θα πρέπει να λαμβάνουν υπόψη τις προδιαγραφές που έχουν τεθεί για τη συμμόρφωση με τις μητρικές πλακέτες των διακομιστών, τις ρυθμίσεις του BIOS και το firmware των διακόπτες.MCX4121A-ACAT τιμήΗ διαθεσιμότητα μπορεί να αποκτηθεί μέσω εξουσιοδοτημένων διανομέων, ειδικά όταν σχεδιάζεται μεγάλης κλίμακαςMCX4121A-ACAT προς πώλησηαγορές.

5. Επιχειρησιακή παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η διατήρηση της κορυφαίας απόδοσης απαιτεί προληπτική παρακολούθηση και μια σταθερή κατανόηση της συμπεριφοράς των υφασμάτων RoCE.

• Παρακολούθηση της κυκλοφορίας RDMA:Χρησιμοποιήστε εργαλεία όπωςεθόλιο,mlxstat, και της NVIDIAUFM (Ενωμένος διαχειριστής υφασμάτων)Για την παρακολούθηση της θερμοκρασίας του προσαρμοστή, των σφαλμάτων σύνδεσης και των καταστάσεων ζεύξης ουράς RDMA.
• Απομόνωση σφάλματος:Η υψηλή καθυστέρηση στη διακίνηση RDMA προκαλείται σχεδόν πάντα από πτώση πακέτων λόγω συμφόρησης.υποδηλώνει μειονέκτημα (e)- η διακοπή της πρόσβασης σε ηλεκτρονικές συσκευές.MCX4121A-ACATΟι προηγμένοι μετρητές μπορούν να μας βοηθήσουν να εντοπίσουμε την ακριβή πηγή της συμφόρησης.
• Εναρμόνιση επιδόσεων:
  • Μέγεθος MTU:Αύξηση σε 9000 bytes (jumbo frames) τόσο στον προσαρμογέα όσο και στους διακόπτες για τη μείωση των επιβαρύνσεων ανά πακέτο και τη βελτίωση των μεγάλων επιδόσεων I/O.
  • Αποδοχή μεγέθους πλευράς (RSS):Βεβαιωθείτε ότι το RSS είναι ρυθμισμένο για να διανέμει την κυκλοφορία σε πολλαπλούς πυρήνες CPU, επιτρέποντας στον προσαρμογέα να χειρίζεται υψηλά ποσοστά πακέτων ανά δευτερόλεπτο (PPS).
  • Εναρμόνιση αποθήκευσης:Ρυθμίζει τα buffers λήψης και μετάδοσης του προσαρμογέα με βάση τα χαρακτηριστικά του φόρτου εργασίας (π.χ. μεγαλύτερα buffers για αποθήκευση, μικρότερα για HPC).

6Συμπέρασμα και εκτίμηση της αξίας

ΗMCX4121A-ACATΜε την ενσωμάτωση αυτού του προσαρμογέα σε ένα καλά σχεδιασμένο υλικό RoCEv2,Οι οργανισμοί μπορούν να επιτύχουν μετασχηματιστικά αποτελέσματα: η απόδοση του διακομιστή μπορεί να μεγιστοποιηθεί καθώς η CPU απελευθερώνεται από το networking overhead· η καθυστέρηση μειώνεται δραματικά σε ένα ψηφίο μικροδευτερόλεπτα, επιτρέποντας εφαρμογές σε πραγματικό χρόνο·και το συνολικό κόστος ιδιοκτησίας μειώνεται μέσω της σύγκλισης των υποδομώνΓια τους αρχιτέκτονες που σχεδιάζουν τον οδικό χάρτη 25GbE τους, ηMCX4121A-ACATαντιπροσωπεύει μια στρατηγική επένδυση στην απόδοση και την αποτελεσματικότητα, υποστηριζόμενη από το ισχυρό οικοσύστημα NVIDIA Mellanox.