Τεχνική λύση προσαρμογέα διακομιστή NVIDIA Mellanox MCX653105A-HDAT

Καθώς η κατανεμημένη αποθήκευση, οι συγκλίνουσες βάσεις δεδομένων και οι πλατφόρμες κατάρτισης τεχνητής νοημοσύνης εξελίσσονται προς τα δίκτυα 100GbE/200GbE, η παραδοσιακή στοίβα TCP / IP έχει γίνει ένα κύριο εμπόδιο απόδοσης.Οι κρίσιμες λειτουργίες όπως η αναπαραγωγή δεδομένων και ο συγχρονισμός αρχείων καταγραφής είναι εξαιρετικά ευαίσθητες στην καθυστέρηση, ωστόσο η στοίβα δικτύου πυρήνα εισάγει δεκάδες μικροδευτερόλεπτα καθυστέρησης και καταναλώνει σημαντικούς πόρους CPU για την επεξεργασία πρωτοκόλλου, περιορίζοντας σοβαρά την επεκτασιμότητα της ροής.Τα σύγχρονα κέντρα δεδομένων απαιτούν μια λύση δικτύου που παρέχει σχεδόν μνήμη καθυστέρηση, γραμμική απόδοση, και ελάχιστη παρέμβαση του CPU.

Η τεχνική λύση αυτή επικεντρώνεται στηνNVIDIA Mellanox MCX653105A-HDATπροσαρμογέα διακομιστή, σχεδιασμένο για να ανταποκρίνεται στις ακόλουθες βασικές απαιτήσεις:

• Υπομικροδευτερόλεπτη καθυστέρηση μεταξύ κόμβων για κατανεμημένη αποθήκευση και φορτία εργασίας HPC
• Χρήση CPU κάτω του 10% για επεξεργασία δικτύου, απελευθέρωση πυρήνων για λογική εφαρμογών
• Μεταφορά χωρίς απώλειες με έλεγχο συμφόρησης για την αποφυγή αυξημένων περιόδων καθυστέρησης
• Συμπλήρωση με την υπάρχουσα υποδομή Ethernet
• Εγκατάσταση υλικού για NVMe-over-Fabrics (NVMe-oF) και GPUDirect RDMA

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία δύο επιπέδων CLOS (spine-leaf) με το RoCE (RDMA over Converged Ethernet) να αναπτύσσεται ως το κύριο πρωτόκολλο μεταφοράς.Όλοι οι διακομιστές υπολογισμού και αποθήκευσης είναι εξοπλισμένοι με τοΠίνακας προσαρμογής MCX653105A-HDAT Ethernet, συνδεδεμένα με διακόπτες φύλλων με δυνατότητα RoCE. οι PFC (Priority Flow Control) και ECN (Explicit Congestion Notification) επιτρέπουν τη δημιουργία πεδίων Ethernet χωρίς απώλειες για την κίνηση RDMA,ενώ ξεχωριστές ουρές προτεραιότητας απομονώνουν την αποθήκευση, HPC, και ροές διαχείρισης.

Οι βασικές αρχιτεκτονικές αποφάσεις περιλαμβάνουν:

• RoCEv2πάνω από το UDP-IP για να επιτρέψει τη δρομολόγηση μέσω των ορίων της στρώσης 3
• DCQCN (Ανακοίνωση ποσοτικής συμφόρησης κέντρου δεδομένων)για την προληπτική διαχείριση της συμφόρησης
• Διαχωρισμός PCIeγια να αφιερώσει εύρος ζώνης για αποθήκευση έναντι της επεξεργασίας κίνησης στο ίδιο προσαρμογέα
• Υποστήριξη πολλαπλών οικοδεσπότωνπου επιτρέπουν σε έως τέσσερις διακομιστές να μοιράζονται έναν ενιαίο προσαρμογέα (σενάρια διαχωρισμένης αποθήκευσης)

Στο επίκεντρο αυτής της λύσης βρίσκεται ηNVIDIA Mellanox MCX653105A-HDAT∆ ένας διπλής θύρας 100GbE ConnectX‐6 Dx προσαρμογός ∆ χρησιμεύει ως ο κινητήρας κρίσιμης εκφόρτωσης.Δελτίο δεδομένων MCX653105A-HDAT, η κάρτα ενσωματώνει επιταχυντές υλικού που αλλάζουν θεμελιωδώς τον τρόπο που οι διακομιστές χειρίζονται το δίκτυο I / O.

Ο ακόλουθος πίνακας υπογραμμίζει τον τρόπο με τον οποίο τα συγκεκριμένα χαρακτηριστικά ανταποκρίνονται στις αρχιτεκτονικές απαιτήσεις:

ΗMCX653105A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeπεριλαμβάνει επίσης προηγμένη τηλεμετρία ∙ κάθε πακέτο μεταφέρει χάρτινες χρονικές σφραγίδες και μετρητές ροής, τροφοδοτώντας την ορατότητα της συμφόρησης σε πραγματικό χρόνο χωρίς να ζητείται από τον host CPU.Για οργανισμούς που ασχολούνται με τις προμήθειες, τοMCX653105A-HDAT τιμήπαρέχει ελκυστική απόδοση επένδυσης σε σύγκριση με τις εναλλακτικές λύσεις με κλίμακα μόνο CPU ή FPGA.

Για ένα τυπικό cluster 200 κόμβων, συνιστούμε την ακόλουθη προσέγγιση ανάπτυξης:

• Σκάφος φύλλου:Εναλλακτικοί διακόπτες με δυνατότητα RoCE (π.χ. NVIDIA SN3700) με ενεργοποιημένο PFC/ECN, διαμορφωμένοι για παραμέτρους DCQCN προσαρμοσμένους στην έκρηξη φόρτου εργασίας.
• Σπονδυλική στήλη:Συμπλέκτες μη αποκλεισμού με επαρκή αναλογία υπεραπογραφής (μέγιστο 3: 1 για την κίνηση αποθήκευσης).
• Από την πλευρά του διακομιστή:Ένα.Λύση κάρτας προσαρμογέα Ethernet MCX653105A-HDATκάθε δύο κόμβους για κοινά συστάματα αποθήκευσης ή έναν για κάθε κόμβο για υψηλής έντασης υπολογιστών HPC.
• Τα μπουφέρα και τα ΜΤΟ:Διαμορφώστε τετράγωνα jumbo 9000 bytes από άκρο σε άκρο και διανέμετε 10~20% του buffer διακόπτη ανά ομάδα προτεραιότητας για εγγυήσεις χωρίς απώλεια.

Κατά την επαλήθευση της συμβατότητας, οι περισσότερες μεγάλες πλατφόρμες διακομιστών είναιΣυμφωνία MCX653105A-HDATΗ διασύνδεση PCIe 4.0/5.0 x16 του προσαρμογέα εξασφαλίζει μελλοντικά αποδεκτό εύρος ζώνης για τις επόμενες γενιές CPU.

Οι αναπτύξεις RoCE παραγωγής απαιτούν προληπτική ορατότητα.

• Συλλογή τηλεμετρίας:Χρησιμοποιήστε NVIDIAmft(Mellanox Firmware Tools) καιεθόλιο -Sγια την εξαγωγή μετρητών ανά λιμάνι και ανά ουρά σε συστήματα Prometheus ή παρόμοια συστήματα.
• Βασικές μετρήσεις παρακολούθησης:PFC παύση καρέ ανά δευτερόλεπτο, ECN σημειωμένη ταχύτητα πακέτων, RoCE επαναμεταδόσεις και θερμοκρασία προσαρμογέα.
• Ανίχνευση συμφόρησης:Μια ξαφνική αύξηση των παύσεων PFC συχνά σηματοδοτεί έναν αργό δέκτη.Ειδικές προδιαγραφές MCX653105A-HDATγια τις παραμέτρους ρύθμισης του κατώτατου ορίου του αποθέτη.
• Διαχείριση λογισμικού:Προγραμματίστε αναβαθμίσεις firmware κατά τη διάρκεια των παραθύρων συντήρησης. Ο προσαρμογός υποστηρίζει την ζωντανή μετανάστευση των συνδέσεων RoCE για να ελαχιστοποιήσει τον χρόνο αναμονής.
• Λίστα ελέγχου ρυθμίσεων απόδοσης:Ενεργοποιήστε τη συγχώνευση IRQ, ορίστε τα κατάλληλα μεγέθη δαχτυλιδιών Rx / Tx (4096 συνιστάται), διακόψτε τις διακοπές πιν σε ειδικούς πυρήνες και επαληθεύστε το πλάτος σύνδεσης PCIe (x16 @ Gen4/5).

ΗNVIDIA Mellanox MCX653105A-HDATπαρέχει μια πλήρη, έτοιμη για παραγωγή βάση για υφάσματα χαμηλής καθυστέρησης με βάση το RDMA/RoCE.Με την απόσυρση ολόκληρης της διαδρομής δεδομένων ἀπό τις εντολές αποθήκευσης μέχρι την εικονική διασύνδεση και την κρυπτογράφηση ασφαλείας ἀ μετατρέπει το δίκτυο διακομιστών από ένα μπουκάλιο σε επιταχυντήΟι οργανισμοί που υιοθετούν αυτή τη λύση μπορούν να αναμένουν:

• Διορθωτική καθυστέρηση sub‐2μsσε εκατοντάδες κόμβους
• 5×10x βελτίωση της απόδοσηςγια ροές εργασίας NVMe-oF και HPC
• Μείωση 80~90%σε επιπλέον έξοδα CPU που σχετίζονται με το δίκτυο
• Γραμμική κλιμάκωσηχωρίς κατάρρευση από συμφόρηση

Για τους μηχανικούς που αξιολογούν τις επιλογές, ηΔελτίο δεδομένων MCX653105A-HDATΜε τον προσαρμογέα τώρα ευρέως διαδεδομένο σε όλες τις γλώσσες της Ευρώπης.MCX653105A-HDAT προς πώλησημέσω των συνεργατών καναλιών της NVIDIA, ο δρόμος προς ένα επίπεδο δεδομένων υψηλής απόδοσης και χαμηλής καθυστέρησης είναι σαφής και εφικτός.Αυτή η τεχνική λύση παρέχει ένα σχέδιο για κάθε οργανισμό που επιδιώκει να απελευθερώσει το πλήρες δυναμικό των δικτύων 100GbE με RDMA και RoCE.