Τεχνική Λευκή Βίβλος Προσαρμογέα Διακομιστή NVIDIA Mellanox MCX631432AN-ADAB

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Τεχνικό Λευκό Βιβλίο.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Οι σύγχρονες αρχιτεκτονικές κέντρων δεδομένων καθορίζονται όλο και περισσότερο από τη σύγκλιση υπολογιστών υψηλής απόδοσης, φορτίων εργασίας τεχνητής νοημοσύνης και κατανεμημένων συστημάτων αποθήκευσης.Αυτές οι εφαρμογές έχουν κοινό σύνολο απαιτήσεων δικτύωσηςΟι παραδοσιακές συστοιχίες δικτύωσης που βασίζονται σε TCP/IP, ενώ είναι πανταχού παρούσες, δεν έχουν καμία σχέση με τις παραδοσιακές συστοιχίες.εισάγει σημαντικά κόστη καθυστέρησης και επεξεργασίας CPU που γίνονται απαγορευτικά σε κλίμακα.

Για οργανισμούς που χρησιμοποιούν NVMe over Fabrics (NVMe-oF), κατανεμημένα συστάδια εκπαίδευσης μηχανικής μάθησης ή πλατφόρμες χρηματοοικονομικής συναλλαγής ευαίσθητες στην καθυστέρηση,η κάρτα διεπαφής δικτύου (NIC) εξελίχθηκε από απλή συσκευή Ε/Υ σε στρατηγικό επιταχυντή απόδοσηςΟι βασικές απαιτήσεις που εντοπίζονται στις σύγχρονες αναπτύξεις περιλαμβάνουν:

• Υπο-5 μικροδευτερόλεπτα καθυστέρηση επιπέδου εφαρμογής μέσω μεταφοράς χωρίς φορτίο υλικού
• Συνολική χωρητικότητα άνω των 40 Gb/s ανά διακομιστή για την εξάλειψη των μεικτών ογκών αποθήκευσης
• Δοκιμαστική απόδοση με ελάχιστη διακύμανση καθυστέρησης ουράς υπό φορτίο
• Η απρόσκοπτη ενσωμάτωση με την υπάρχουσα υποδομή Ethernet χωρίς ιδιοκτησιακή εναλλαγή
• Πλήρεις δυνατότητες τηλεμετρίας και διάγνωσης για προληπτικές επιχειρήσεις

ΗNVIDIA Mellanox MCX631432AN-ADABαπευθύνεται απευθείας στις απαιτήσεις αυτές μέσω της αρχιτεκτονικής ConnectX-6 Lx,Παρέχοντας hardware-accelerated RoCEv2 (RDMA over Converged Ethernet) με προηγμένο έλεγχο συμφόρησης και προγραμματιζόμενες δυνατότητες διαδρομής δεδομένων.

2Συνολικό σχεδιασμό δικτύου και αρχιτεκτονικής συστήματος

Η προτεινόμενη αρχιτεκτονική λύσης υιοθετεί μια τοπολογία δικτύου με 25GbE συνδεσιμότητα στο επίπεδο πρόσβασης σε διακομιστή.MCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28Η αρχιτεκτονική περιλαμβάνει:

• Έκτος του διακομιστή:ΗΠίνακας προσαρμογής Ethernet MCX631432AN-ADABσυνδέεται μέσω PCIe Gen 4.0 x8 με την CPU υποδοχής, παρέχοντας έως και 64 GB/s αμφίδρομο εύρος ζώνης υποδοχής, πλήρως επαρκές για να κορεστούν ταυτόχρονα και οι δύο θύρες 25GbE.
• Δίκτυο υφάσματος:Οι διπλές θύρες 25GbE SFP28 παρέχουν ενεργό-ενεργό ισορροπία φορτίου ή ενεργό αναμονή.
• Ενσωμάτωση αποθήκευσης:Για τις αναπτύξεις NVMe-oF, ο προσαρμογός χρησιμεύει ως τελικό σημείο RDMA, επιτρέποντας άμεσες μεταβιβάσεις δεδομένων από μνήμη σε μνήμη με καθυστέρηση κάτω του μικροδευτερόλεπτου.
• Σχέδιο διαχείρισης:Διαχείριση εκτός ζώνης μέσω της ασφαλούς διεπαφής διαχείρισης του προσαρμοστή, με πλήρη υποστήριξη για την παρακολούθηση του Redfish και του SNMP.

Ο σχεδιασμός δίνει έμφαση στην απώλεια Ethernet μέσω RoCEv2 με έλεγχο ροής προτεραιότητας (PFC) και ρητή ειδοποίηση συμφόρησης (ECN)MCX631432AN-ADAB Ethernet λύση κάρτας προσαρμογέαλειτουργεί μέσα σε ένα συγκεντρωτικό, πολυ-πρωτοκόλικο ιστό χωρίς ειδική υποδομή InfiniBand.

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MCX631432AN-ADAB

ΗNVIDIA Mellanox MCX631432AN-ADABχρησιμεύει ως το θεμελιώδες δομικό στοιχείο αυτής της λύσης, παρέχοντας τρία ξεχωριστά στρώματα αξίας:

Α. Μηχανή επιτάχυνσης υλικού
Ο προσαρμογός ενσωματώνει έναν εξαιρετικά προγραμματιζόμενο αγωγό επεξεργασίας πακέτων που εκφορτώνει τις εργασίες πρωτοκόλλου μεταφοράς, συμπεριλαμβανομένης της διαίρεσης RoCE, της επανασυναρμολόγησης,και ελέγχου συμφόρησης από την CPU υποδοχήςΣύμφωνα με τοΔελτίο δεδομένων MCX631432AN-ADAB, το υλικό υποστηρίζει έως και 200 εκατομμύρια μηνύματα ανά δευτερόλεπτο (Mpps), εξασφαλίζοντας ότι ακόμη και τα μικρότερα μεγέθη πακέτων επιτυγχάνουν απόδοση wire-rate.

Β. Εφαρμογή RDMA και RoCEv2
ΗMCX631432AN-ADAB ConnectX-6 Lx διπλής θύρας 25GbE SFP28υλοποιεί το RoCEv2 με μεταφορά πλήρως αποφορτισμένη από υλικό.

• Μεταφορές δεδομένων χωρίς αντίγραφα απευθείας μεταξύ αποθηκευτικών θυρών εφαρμογών και απομακρυσμένης μνήμης
• Υπο-2 μικροδευτερόλεπτα μονόδρομη καθυστέρηση για επικοινωνίες peer-to-peer
• Πλήρης συμβατότητα με τυπικούς διακόπτες Ethernet, απαιτώντας μόνο υποστήριξη PFC και ECN

Γ. Προχωρημένη τηλεμετρία και προγραμματισμό
Ο προσαρμογός περιλαμβάνει μια σειρά από μετρητές τηλεμετρίας που παρέχουν καθυστέρηση ανά ροή, βάθος ουράς και μετρήσεις συμφόρησης κρίσιμη για την προληπτική διαχείριση των επιδόσεων.Ειδικότητες MCX631432AN-ADABπεριγράφει λεπτομερώς το πλήρες φάσμα προγραμματιζόμενων χαρακτηριστικών, συμπεριλαμβανομένης της ευέλικτης επεξεργασίας αντιστοίχισης και της υποστήριξης της τηλεμετρίας δικτύου εντός ζώνης (INT).

Για τους οργανισμούς που εξετάζουν την ανάπτυξη, ο προσαρμογός είναι πλήρωςΣυμφωνητικό με MCX631432AN-ADABμε όλες τις μεγάλες διανομές Linux (RHEL, Ubuntu, SLES), VMware ESXi και Windows Server, εξασφαλίζοντας απρόσκοπτη ενσωμάτωση σε ετερογενή περιβάλλοντα.

4. Σύσταση για την ανάπτυξη και την κλιμακωτότητα

Τυπική τοπολογία ανάπτυξης

Η συνιστώμενη ανάπτυξη ακολουθεί μια τοπολογία "σπονδυλικής στήλης" με την ακόλουθη διαμόρφωση:

• Εναλλακτικά φύλλων:25GbE ToR διακόπτες με υποστήριξη RoCEv2, διαμορφωμένοι με PFC σε ειδικές ουρές προτεραιότητας και ECN για σηματοδότηση συμφόρησης
• Σημεία διακομιστή:Κάθε κόμβος εξοπλισμένος με τοMCX631432AN-ADAB, συνδεδεμένο με ένα πρωτογενές και δευτερογενές φύλλο για την απόλυση
• Σπονδυλική στήλη:Συμπλέκτες σπονδυλικής στήλης 100GbE ή 400GbE που παρέχουν συνδεσιμότητα μεταξύ των ράκων χωρίς μπλοκάρισμα
• Στόχος αποθήκευσης:Στόχοι κόμβων NVMe-oF που χρησιμοποιούν τον ίδιο τύπο προσαρμογέα για συνεπείς δυνατότητες RDMA

Σχετικά με την επεκτασιμότητα

Η λύση κλιμακώνεται γραμμικά από ένα μόνο ράκ σε πολλαπλά χιλιάδες κόμβους.

• Διαχείριση αποθηκών:Χρησιμοποιήστε την κοινή αρχιτεκτονική αποθήκευσης του προσαρμογέα (συναρμολογήσιμη έως 4 MB ανά θύρα) για να απορροφάτε τις παροδικές εκρήξεις χωρίς πτώση πακέτων
• Περιοχές συμφόρησης:Διαχωρίστε το ύφασμα σε πολλαπλές ζώνες διαχείρισης συμφόρησης για να περιορίσετε την εξάπλωση των PFC, χρησιμοποιώντας τον ρυθμό περιορισμού ανά θύρα του προσαρμογέα
• Ορχήστρα σε κλίμακα σύννεφου:Ο προσαρμογός υποστηρίζεται πλήρως από το Kubernetes (μέσω του φορέα εκμετάλλευσης δικτύου NVIDIA) και το OpenStack, επιτρέποντας την αυτοματοποιημένη προμήθεια και διαχείριση κύκλου ζωής.

Κατά την αξιολόγηση τηςMCX631432AN-ADAB τιμήαπό το συνολικό κόστος ιδιοκτησίας, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Πλαίσιο παρακολούθησης

Η λύση ενσωματώνει μια προσέγγιση παρατηρησιμότητας τριών επιπέδων:

• Τηλεμετρία επιπέδου προσαρμοστή:ΗΠίνακας προσαρμογής Ethernet MCX631432AN-ADABΟι βασικές μετρήσεις περιλαμβάνουν: απόδοση ανά θύρα, πτώση πακέτων, πλαίσια παύσης PFC, πακέτα με σήμανση ECN,και RoCEv2 συγκρούσεις
• Ορατότητα σε επίπεδο υφάσματος:Ενσωμάτωση με την ενιαία πλατφόρμα διαχείρισης της NVIDIA παρέχει οπτικοποίηση τοπολογίας και ανάλυση διαδρομής ροής
• Παρακολούθηση των επιδόσεων των εφαρμογών:Ο προσαρμογός παρέχει στατιστικά στοιχεία ανά ουρά και ανά ουρά ολοκλήρωσης RDMA, επιτρέποντας τη συσχέτιση της απόδοσης του δικτύου με την καθυστέρηση συναλλαγών σε επίπεδο εφαρμογής

Συνηθισμένα σενάρια επίλυσης προβλημάτων

Βάσει της επιχειρησιακής εμπειρίας, τα ακόλουθα πρότυπα προσδιορίζονται με τη χρήση τουΕιδικότητες MCX631432AN-ADABκαι δεδομένα τηλεμετρίας:

• Ανίχνευση καταιγίδας PFC:Παρακολούθηση των μετρητών πλαισίων παύσης PFC ανά προτεραιότητα ∆ιαρκής παύση > 5% του ρυθμού γραμμής υποδηλώνει συμφόρηση ή λανθασμένη διαμόρφωση
• ΡοΣΕβ2 Πακέτο σταγόνες:Ελέγξτε τους μετρητές πτώσης του προσαρμογέα (π.χ., μετρητές rx_discard_*) για να απομονώσετε εάν οι πτώσεις συμβαίνουν στον προσαρμογέα, τον διακόπτη ή λόγω ECN throttling
• Εναρμόνιση επιδόσεων:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Κατευθυντήριες γραμμές βελτιστοποίησης

Για να επιτευχθεί μέγιστη απόδοση και ελάχιστη καθυστέρηση, συνιστώνται οι ακόλουθες βελτιστοποιήσεις με βάση τηνΔελτίο δεδομένων MCX631432AN-ADAB:

• Επιτρέψτε την εκφόρτωση CRC υλικού και διαχωρισμού κεφαλίδας / δεδομένων για τη μείωση της κατανάλωσης εύρους ζώνης της μνήμης υποδοχής
• Διαμόρφωση ορίων PFC ανά προτεραιότητα δυναμικά με βάση τα προφίλ φόρτου εργασίας χρησιμοποιώντας τα εργαλεία διαμόρφωσης buffer του προσαρμογέα.
• Ενεργοποίηση των προηγμένων χαρακτηριστικών QoS του προσαρμογέα, συμπεριλαμβανομένου του περιορισμού του ρυθμού ανά κατηγορία κυκλοφορίας και της αυστηρής προτεραιότητας ή της σταθμισμένης εύλογης ουράς
• Για εκτεταμένες εφαρμογές, χρησιμοποιήστε την υποστήριξη του προσαρμογέα για την ανταλλαγή Bridging Exchange (DCBX) 802.1Qaz Data Center για την αυτοματοποίηση των διαπραγματεύσεων PFC και ECN με διακόπτες

6Συνοπτική & Αξιολόγηση

Η τεχνική λύση επικεντρώθηκε στηνNVIDIA Mellanox MCX631432AN-ADABπαρέχει σαφή πορεία για την επίτευξη υπο-10 μικροδευτερολέπτων RDMA καθυστέρησης, αυξάνοντας ταυτόχρονα την απόδοση του διακομιστή έως και 5-6 φορές σε σχέση με τις παραδοσιακές 10GbE TCP / IP αναπτύξεις.Οι βασικές αξίες περιλαμβάνουν::

• Απλούστευση της υποδομής:Εξάλειψη της ανάγκης για ξεχωριστά δίκτυα αποθήκευσης και υπολογισμού, επιτρέποντας την απώλεια Ethernet για όλους τους τύπους κυκλοφορίας
• Προβλέψιμη απόδοση:Το RoCEv2 χωρίς φορτίο υλικού εξασφαλίζει καθοριστική καθυστέρηση ακόμη και κάτω από 90% + απόδοση χρήσης γραμμής
• Επιχειρησιακή αποδοτικότητα:Η ολοκληρωμένη τηλεμετρία και η αυτοκατασκευαστική διαχείριση συμφόρησης μειώνουν τον μέσο χρόνο επίλυσης (MTTR) για προβλήματα δικτύωσης
• Προστασία επενδύσεων:Η διεπαφή και η προγραμματιστικότητα PCIe Gen 4.0 του προσαρμοστή εξασφαλίζουν συμβατότητα με μελλοντικές γενιές CPU και διακόπτη

Για οργανισμούς που αξιολογούν ενεργάMCX631432AN-ADAB προς πώλησηΗ λύση αυτή προσφέρει μια αποδεδειγμένη αρχιτεκτονική αναφοράς που έχει επικυρωθεί σε περιβάλλοντα παραγωγής σε χρηματοοικονομικές υπηρεσίες, παρόχους cloud και εγκαταστάσεις αποθήκευσης επιχειρήσεων.Ο συνδυασμός των επιδόσεων, κλιμακωτότητα και λειτουργική ωριμότητα καθιστούνΠίνακας προσαρμογής Ethernet MCX631432AN-ADABΜια στρατηγική επένδυση για τον μετασχηματισμό ενός σύγχρονου κέντρου δεδομένων.