Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC Τεχνική λύση

Αυτό το λευκό βιβλίο παρέχει στους αρχιτέκτονες δικτύων, τους μηχανικούς προ πωλήσεων και τους επικεφαλής των επιχειρήσεων ένα ολοκληρωμένο τεχνικό πλαίσιο για την ανάπτυξη τουMellanox (NVIDIA Mellanox) MCX556A-ECATΗ λύση επικεντρώνεται στην εξάλειψη των μεικτών ογκών TCP/IP μέσω RDMA/RoCE,Παρέχοντας καθοριστική επικοινωνία χαμηλής καθυστέρησης με τη μεγιστοποίηση της απόδοσης του διακομιστή για φορτία εργασίας υψηλής έντασης δεδομένων.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Τα σύγχρονα περιβάλλοντα κέντρων δεδομένων, συμπεριλαμβανομένων των ομάδων κατάρτισης τεχνητής νοημοσύνης, των κατανεμημένων βάσεων δεδομένων, της υπερσυγκεντρωμένης υποδομής και των πλατφορμών συναλλαγών υψηλής συχνότητας, μοιράζονται έναν κοινό περιορισμό:η παραδοσιακή στοίβα δικτύου καταναλώνει 30~50% των κύκλων CPU σε αντίγραφα μνήμηςΚαθώς οι ταχύτητες συνδέσεων αυξάνονται σε 100Gbps και πέρα, η δικτύωση βασισμένη σε λογισμικό γίνεται μη βιώσιμη.Οι βασικές απαιτήσεις για τη σύνδεση server επόμενης γενιάς περιλαμβάνουν:: υπο-5 μικροδευτερόλεπτο καθυστέρηση μεταξύ των κόμβων, CPU overhead κάτω από 10% ανά σύνδεση 100Gbps, μεταφορά χωρίς απώλειες για πρωτόκολλα αποθήκευσης (NVMe-oF) και απρόσκοπτη ολοκλήρωση με την υπάρχουσα υποδομή Ethernet.ΗΛύση κάρτας προσαρμογέα Ethernet MCX556A-ECATΕπομένως, η Επιτροπή θα πρέπει να λάβει τα αναγκαία μέτρα.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου/συστήματος

Η συνιστώμενη αρχιτεκτονική χρησιμοποιείNVIDIA Mellanox MCX556A-ECATΗ λύση υιοθετεί μια δύο-επίπεδη τοπολογία με υποστήριξη RoCE (RDMA πάνω στο Converged Ethernet).:

• Ίδρυμα Ethernet χωρίς απώλεια: Ενεργοποιήστε τον έλεγχο ροής προτεραιότητας (PFC) σε λιμένες που μεταφέρουν κίνηση RoCE και ρυθμίστε τα κατώτατα όρια ECN (Explicit Congestion Notification) σε διακόπτες φύλλων.
• Διαφορετικές κατηγορίες κυκλοφορίας: Αναθέστε την κίνηση RoCE σε ειδική ουρά προτεραιότητας (συνήθως 3 ή 5) με αυστηρό προγραμματισμό προτεραιότητας.
• Διαχείριση αποθέματος ασφαλείας: Αναθέστε κοινόχρηστες δεξαμενές αποθήκευσης σε διακόπτες σύμφωνα μεΕιδικότητες MCX556A-ECAT(συστήνεται 4MB ανά θύρα για λειτουργία χωρίς απώλειες).

ΚάθεMCX556A-ECAT ConnectX προσαρμογέα κάρτα δικτύου PCIeσυνδεθεί σε διακόπτη φύλλου μέσω οπτικής QSFP28 (SR4, LR4 ή AOC/DAC ανάλογα με την απόσταση).διαμορφώσεις διπλής εστίασης συνδέουν και τις δύο θύρες ∆εν ενεργό-ενεργό για την απόδοση ή ενεργό-ετοιμασία για την αλλαγή σφάλματοςΤο επίπεδο ελέγχου χρησιμοποιεί το πρότυπο Ethernet και το IP, ενώ το επίπεδο δεδομένων αξιοποιεί το RDMA για μεταφορές μηδενικών αντιγράφων.

3Ο ρόλος και τα βασικά χαρακτηριστικά του Mellanox (NVIDIA Mellanox) MCX556A-ECAT στην λύση

ΗMCX556A-ECATΗ λειτουργία του κέρνελ είναι μια από τις πιο σημαντικές λειτουργίες του υπολογιστή.Πίνακας δεδομένων MCX556A-ECATπεριλαμβάνουν:

ΗΠίνακας προσαρμογής Ethernet MCX556A-ECATπεριλαμβάνει επίσης προηγμένη διεύθυνση (ταξινομή ροής σε 128 εικονικές ουρές), SR-IOV με έως και 512 εικονικές λειτουργίες και χρονοδιακόπτη υλικού για το πρωτόκολλο ακριβούς χρόνου (PTP).Αυτά τα χαρακτηριστικά το κάνουν μια πλήρη μηχανή επιτάχυνσης διαδρομής δεδομένων, όχι απλώς μια υψηλής ταχύτητας διεπαφή.

4Συστάσεις για την ανάπτυξη και την κλιμάκωση (τυπική τοπολογία)

Για ένα μεσαίου μεγέθους σύμπλεγμα (64256 κόμβοι), συνιστάται η ακόλουθη τοπολογία:

• Φελλόστρωμα: Δύο ή τέσσερις 48-port 100GbE RoCE διακόπτες (π.χ., NVIDIA SN3700).Συμβατό με MCX556A-ECATΠύλες QSFP28
• Σπονδυλική στρώση: Τέσσερις διακόπτες 400GbE 32 θύρων που παρέχουν 128 μη αποκλειστικές αναβαθμίσεις 100GbE από φύλλα.
• Διαμόρφωση διακομιστήΈνα.MCX556A-ECATΓια κάθε διακομιστή, η πύλη Α μεταφέρεται στην πύλη A, η πύλη Β μεταφέρεται στην πύλη B. Αυτό παρέχει συνολικό εύρος ζώνης 200Gbps και εφεδρικότητα διαδρομής.

Η κλιμάκωση του υλικού πέρα από 256 κόμβους απαιτεί την προσθήκη ζευγαριών φύλλων-αστέρας ή τη μετανάστευση σε μια αρχιτεκτονική Clos 3 σταδίων.MCX556A-ECAT τιμήέναντι της μελλοντικής χωρητικότητας, παράγοντας για τον οποίο ο προσαρμογός είναιΣυμβατό με MCX556A-ECATμε μητρικές πλακέτες PCIe 4.0 (που λειτουργούν αρχικά σε 3.0 x16), προσφέροντας μια απλή πορεία αναβάθμισης.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η επιχειρησιακή αριστεία για τις αναπτύξεις RoCE απαιτεί ειδική παρακολούθηση και προσαρμογή.

• Μετρητές παρακολούθησηςΧρήση:-Είναι η πρώτη φορά.Η Εpiιτροpiή Εpiιτροpiών για την Εpiιτροpiή Εpiιτροpiών (Εpiιτροpiή)Ειδικότητες MCX556A-ECATκαταγράφει τις αναμενόμενες τιμές βάσης.
• Εναρμόνιση αποθηκών: Ρυθμίστε τα buffers εξόδου του διακόπτη σε 4 ′′ 6MB για τις ουρές RoCE.
• Διαχείριση firmware: Διατηρήστε το πιο πρόσφατο firmware (διαθέσιμο από την πύλη υποστήριξης επιχειρήσεων NVIDIA) για την αντιμετώπιση των σφαλμάτων και την αύξηση των βελτιώσεων της απόδοσης που τεκμηριώνονται στοΠίνακας δεδομένων MCX556A-ECAT.
• Βασικό επίπεδο απόδοσηςΤρέξτε!ib_write_bwκαιιβ_read_latΤα αναμενόμενα αποτελέσματα: 98 ̇99 Gbps αμφίδρομα με καθυστέρηση 0,8 ̇1,2 μs για μηνύματα 8 bytes.

Συνηθισμένα σενάρια αντιμετώπισης προβλημάτων: αδιέξοδος PFC (ελέγχος για λανθασμένη διαμόρφωση γραμμής αναμονής), κρούση συνδέσμου (εξυγίανση της ισχύος και των χαρακτηριστικών καλωδίων),και RDMA timeouts σύνδεσης (εξασφάλιση της συνέπειας MTU σε 4200 bytes για jumbo frames)Για ομάδες που ψάχνουνMCX556A-ECAT προς πώλησηγια την επέκταση των clusters, η προ-διαστολή του firmware σε κάθε παρτίδα αποφεύγει εκπλήξεις συμβατότητας.

6Συνοπτική & Αξιολόγηση

ΗMCX556A-ECATΗ τεχνολογία αυτή παρέχει μια σαφή πρόταση αξίας για τα σύγχρονα κέντρα δεδομένων.NVIDIA Mellanox MCX556A-ECATΜειώνει την καθυστέρηση εφαρμογής κατά 10 φορές σε σύγκριση με το TCP, μειώνει το κόστος δικτύωσης CPU κατά 85% και ξεκλειδώνει τη διάσπαση αποθήκευσης μέσω NVMe-oF.Η χωρητικότητα 100GbE διπλής θύρας της κάρτας παρέχει μελλοντικό προβάδισμαΓια τις ομάδες λειτουργίας, η ώριμη στοίβα οδηγών (upstream Linux, Windows και VMware) απλοποιεί τη διαχείριση.MCX556A-ECAT τιμήΗ διαφορά μεταξύ των τιμών των διακομιστών και του κόστους εκμετάλλευσης είναι σημαντική.Πίνακας προσαρμογής Ethernet MCX556A-ECATήMCX556A-ECAT ConnectX προσαρμογέα κάρτα δικτύου PCIe, η λύση αυτή παραμένει ένα σχεδιασμό αναφοράς για δίκτυα Ethernet χωρίς απώλειες και υψηλής απόδοσης.