Τεχνική λύση: NVIDIA Mellanox MCX631102AN-ADAT Server Adapter

Αυτό το τεχνικό white paper παρέχει μια ολοκληρωμένη αναφορά για τους αρχιτέκτονες δικτύων, τους μηχανικούς προ πωλήσεων και τους διευθυντές επιχειρήσεων που σχεδιάζουν να αναπτύξουνNVIDIA Mellanox MCX631102AN-ADATΗ λύση επικεντρώνεται στην εξάλειψη του TCP/IP stack overhead, επιτρέποντας τη μεταφορά RDMA/RoCEv2 χαμηλής καθυστέρησης,και μεγιστοποιώντας την απόδοση του διακομιστή για αποθήκευση, βάσεις δεδομένων, και φορτία εργασίας AI.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Οι σύγχρονες αρχιτεκτονικές κέντρων δεδομένων αντιμετωπίζουν τρεις συγκλίνουσες προκλήσεις: την εκρηκτική αύξηση της κίνησης ανατολής-δυτικής, την μετάβαση προς τη διαχωρισμένη αποθήκευση (NVMe-oF, vSAN),και την ανάγκη διατήρησης κύκλων CPU για λογική εφαρμογής και όχι για επεξεργασία δικτύουΟι παλαιότερες αναπτύξεις 25GbE που χρησιμοποιούν παραδοσιακό TCP/IP υποφέρουν από υψηλή καθυστέρηση ουράς (200-500μs για τις λειτουργίες αποθήκευσης), υπερβολική επεξεργασία πυρήνα ανά πακέτο και αναποτελεσματική διαπερατότητα μικρών πακέτων.Η βασική απαίτηση είναι χαμηλή καθυστέρηση, χωρίς απώλεια υφάσματος που επιτρέπει την άμεση πρόσβαση στη μνήμη μεταξύ διακομιστών χωρίς παρέμβαση της CPU, διατηρώντας παράλληλα τη συμβατότητα με την υπάρχουσα υποδομή Ethernet.

2Συνολικό σχεδιασμό δικτύου και αρχιτεκτονικής συστήματος

Η προτεινόμενη λύση υιοθετεί μια τοπολογία δύο επιπέδων φύλλου-αστέρας με διαμόρφωση RoCEv2 χωρίς απώλειες.

• Φυσικό στρώμα:25GbE SFP28 συνδέσεις από κάθε διακομιστή υπολογισμού/αποθήκευσης σε διακόπτες φύλλου, 100GbE ή 400GbE ανοδικές συνδέσεις από φύλλο σε σπονδυλική στήλη
• Επικεντρωμένο ύφασμα:Κοινόχρηστο ιστό Ethernet που μεταφέρει τόσο την τυπική κίνηση TCP όσο και ροές χωρίς απώλεια RoCEv2, χρησιμοποιώντας προτεραιότητα βασισμένη στο DSCP
• Ελέγχος ροής:Ελέγχος ροής προτεραιότητας (PFC) για τις προτεραιότητες χωρίς απώλειες, σήμανση ECN για την κοινοποίηση συμφόρησης και διαπραγμάτευση DCBX
• Από την πλευρά του οικοδεσπότη:Ειδικές υποδομές PCIe 4.0 x16 για κάθεMCX631102AN-ADAT κάρτα προσαρμογή Ethernet, με τη δυνατότητα SR-IOV για εικονικά περιβάλλοντα

Για τις αναπτύξεις NVMe-oF, κάθε διακομιστής αποθήκευσης φιλοξενεί δύοMCX631102AN-ADAT ConnectX-6 Lx διπλής θύρας 25GbE SFP28προσαρμογείς: ένας για την πρόσβαση σε εφαρμογές front-end και ένας για την πρόσβαση σε εφαρμογές back-end, διασφαλίζοντας την απομόνωση σφαλμάτων και τον διαχωρισμό της ποιότητας εξυπηρέτησης.

3Ο ρόλος και τα βασικά χαρακτηριστικά του MCX631102AN-ADAT στη λύση

ΗMCX631102AN-ADATχρησιμεύει ως η κρίσιμη συσκευή τελικού σημείου που επιτρέπει την επιτάχυνση RDMA από την πλευρά του οικοδεσπότη.

Αναφερόμενος στηνΔελτίο δεδομένων MCX631102AN-ADAT, ο προσαρμογός παρέχει επίσης χρονογραφία υλικού (μετρητής χρονογραφίας ελεύθερης λειτουργίας με ανάλυση 1ns), επιτρέποντας ακριβή PTP/SyncE για χρηματοοικονομικές συναλλαγές ή εφαρμογές telecom edge.

4Συστάσεις για την ανάπτυξη και την κλιμάκωση (τυπική τοπολογία)

Για τις αναπτύξεις σε καφέ πεδίο, συνιστάται μια σταδιακή προσέγγιση:

• Φάση 1 ∆ αναβάθμιση του αεροπλάνου αποθήκευσης:ΕφαρμογήMCX631102AN-ADATσε όλους τους διακομιστές αποθήκευσης που εκτελούν το λογισμικό-στόχο NVMe-oF (π.χ. SPDK, TargeR).
• Φάση 2 ∆ ενεργοποίηση υπολογιστικού επιπέδου:Εγκατάσταση προσαρμογών σε διακομιστές υπολογιστών που εκτελούν πλαισίδες βάσης δεδομένων ή τεχνητής νοημοσύνης (TensorFlow, PyTorch με NCCL).
• Φάση 3 ∆ενοποίηση δικτύου:Μετανάστευση φορτίων εργασίας TCP υψηλής ευαισθησίας (αναλύσεις σε πραγματικό χρόνο, sidecars μικρουπηρεσιών) σε RoCE με τύπους υπηρεσιών UC ή RC.

Λίστα ελέγχου επαλήθευσης τοπολογίας:

• Όλοι οι διακόπτες φύλλου πρέπει να υποστηρίζουν την RoCE χωρίς απώλεια (PFC + ECN) με επαρκή χώρο για το κεφάλι του αποθέτησης ασφαλείας.
• ΜΤΔ από άκρο σε άκρο τουλάχιστον 2000 bytes (κατά προτίμηση 9000 για jumbo frames)
• Η προσβασιμότητα δρομολόγησης Unicast για την κυκλοφορία RoCEv2 (έδρα UDP 4791)
• ΕγκρίθηκεΣυμφωνία MCX631102AN-ADATλίστα: NVIDIA Spectrum (προτιμώ), Cisco Nexus 9300-EX/FX, Arista 7050X/7050X3 με προφίλ DCBX

5. Λειτουργίες και συντήρηση ️ Παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η επιτυχία της ανάπτυξης παραγωγής εξαρτάται από την κατάλληλη τηλεμετρία και την προληπτική αντιμετώπιση των εξαιρέσεων.

• Ανίχνευση συμφόρησης:Παρακολούθηση των μετρητών πλαισίων παύσης PFC ανά θύρα σε διακόπτες και προσαρμογείς με ECN με τη χρήση των στατιστικών πακέτων ethtool -S ή mlxlink.
• Διαβεβαίωση SLO καθυστέρησηςΕφαρμόστε την παρακολούθηση της καθυστέρησης με χρονογραφήματα υλικού με εργαλεία όπως ucxtrace ή mlx5cmd. Τυπική υγιής RTT κάτω από 10μs μέσα στο ράκ, κάτω από 30μs σε σπονδύλες.
• Εναρμόνιση του λογισμικού εγκατάστασης και του οδηγού:Χρησιμοποιήστε το validated firmware bundle της NVIDIA (βλ.Ειδικότητες MCX631102AN-ADATγια ακριβείς αριθμούς εξαρτημάτων) και εκδόσεις οδηγού (mlx5_core ≥ 5,9).
• Διαχείριση RMA και κύκλου ζωής:Κατά την ανάλυσηMCX631102AN-ADAT τιμήέναντι του TCO, περιλαμβάνει κύκλο ανανέωσης κόμβου 3-5 ετών· κατάλογος πολλαπλών παγκόσμιων διανομέωνMCX631102AN-ADAT προς πώλησημε υποστήριξη με πολυετή εγγύηση.

Για την αντιμετώπιση προβλημάτων, οι πιο συχνές παγίδες είναι: λανθασμένα οριακά όρια του buffer διακόπτη (που οδηγούν σε παύση καταιγίδων καρέ), μη συμβατός τύπος GID (προτιμώ τον τύπο GID 2 για το IPv6 RoCEv2),και έλλειψη ενεργοποίησης αποφόρτωσης υλικού σε ρήματα εφαρμογής (σφαλίζετε ibv_reg_mr με τοπική πρόσβαση γραφής).

6Συνοπτική & Αξιολόγηση

ΗNVIDIA Mellanox MCX631102AN-ADATΠαρέχει μια παραγωγή-σκληρώθηκεMCX631102AN-ADAT Ethernet λύση κάρτας προσαρμογέαγια οργανισμούς που επιδιώκουν να απελευθερώσουν πραγματική απόδοση χαμηλής καθυστέρησης γραμμής σε ώριμη υποδομή 25GbE.το διάλυμα επιτυγχάνει καθυστέρηση NVMe-oF κάτω των 20 μικροδευτερολέπτων, ανακτά > 30% των πυρήνων CPU για φορτία εργασίας εφαρμογών και διατηρεί συνολική απόδοση 50Gbps με μικρή απόδοση πακέτου που προηγουμένως επιτεύχθηκε μόνο σε προσαρμογείς 100GbE.Για τους αρχιτέκτονες που σχεδιάζουν υπερσυγκεντρωμένα ή AI συστάματα αποθήκευσης σε πράσινο πεδίο, τοMCX631102AN-ADATαντιπροσωπεύει έναν στρατηγικό παράγοντα παρέχοντας το προφίλ καθυστέρησης του InfiniBand με τη λειτουργική απλότητα του Ethernet.