NVIDIA Mellanox MCX653106A-HDAT Τεχνική λύση: RDMA/RoCE βασισμένη μεταφορά και διακομιστής χαμηλής καθυστέρησης

Αυτό το τεχνικό white paper έχει σχεδιαστεί για τους αρχιτέκτονες δικτύων, τους μηχανικούς προ πωλήσεων και τους διευθυντές επιχειρήσεων.NVIDIA Mellanox MCX653106A-HDATΗ μελέτη περιγράφει πώς να κατασκευαστεί μια υποδομή δικτύου κέντρου δεδομένων ικανή για μεταφορά RDMA / RoCE σε κλίμακα μικροδευτερόλεπτου και εξαιρετικά υψηλή απόδοση.

Τα σύγχρονα κέντρα δεδομένων αντιμετωπίζουν τρεις βασικές προκλήσεις: απρόβλεπτη καθυστέρηση στην κατανεμημένη αποθήκευση, έλλειψη εύρους ζώνης σε συστάδες εκπαίδευσης AI,και υπερβολική κατανάλωση CPU από παραδοσιακές συστοιχίες πρωτοκόλλων δικτύουΟι παραδοσιακές λύσεις TCP/IP δεν μπορούν πλέον να ανταποκριθούν στις απαιτήσεις καθυστέρησης σε μικροεκτίμηση δευτερολέπτων του NVMe-oF, της συναλλαγής υψηλής συχνότητας και της ανάλυσης σε πραγματικό χρόνο.Λύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATπου παρέχει μεταφορά RDMA χωρίς φορτίο υλικού μέσω τυπικής υποδομής Ethernet, μετρώντας παράλληλα την απόδοση του διακομιστή σε επίπεδα 200Gbps.

Η λύση αυτή υιοθετεί μια διεπίπεδη αρχιτεκτονική Leaf-Spine CLOS.NVIDIA Mellanox MCX653106A-HDATΟι βασικές αρχές σχεδιασμού περιλαμβάνουν:

• Δίκτυο χωρίς απώλειες από άκρο σε άκρο με δυνατότητα PFC (Προτεραιότητα Ελέγχου ροής) και ECN (Ανακοίνωση ρητής συμφόρησης)
• Ειδικές λωρίδες μεταφοράς RDMA για αποθήκευση και φορτία εργασίας HPC
• Διαχωρισμός του επιπέδου ελέγχου (πρότυπο TCP/IP) και του επιπέδου δεδομένων (RoCEv2)
• Εφαρμογή των προδιαγραφών για την εκτέλεση των εργασιών εικονικοποίησης (SR-IOV, VXLAN/NVGRE/Geneva)

Βάσει τωνΔελτίο δεδομένων MCX653106A-HDAT, ο προσαρμογός παρέχει καθυστέρηση υπο-600ns από θύρα σε θύρα και υποστηρίζει έως 215 εκατομμύρια πακέτα ανά δευτερόλεπτο, καθιστώντας τον ιδανικό τόσο για την κίνηση αποθήκευσης Ανατολής-Δύσης όσο και για τις ροές εφαρμογών Βορρά-Νότου.

ΗMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeΑποτελεί τη βασική μηχανή αεροσκάφους δεδομένων.

• RDMA/RoCE επιτάχυνση:Πλήρης εκφόρτωση υλικού του RoCEv2, συμπεριλαμβανομένης της διαχείρισης συμφόρησης, της επεξεργασίας πακέτων εκτός σειράς και της άμεσης τοποθέτησης δεδομένων σε αποθηκευτικά αποθέματα εφαρμογής.
• Πρωτόκολλο αποθήκευσης:Η εγγενής υποστήριξη για το NVMe-oF (και οι δύο παραλλαγές TCP και RoCE), iSER και SRP, εξαλείφοντας την επεξεργασία στόχων με βάση το λογισμικό.
• Εικονικοποίηση & Πολλαπλή ενοικίαση:Μέχρι 1.000 εικονικές λειτουργίες (VFs) ανά θύρα, με υπερβατικό εκφόρτωμα τούνελ που εξασφαλίζει ενσωμάτωση/αποσυμπίεση με ταχύτητα γραμμής.
• Ασφάλεια & Τηλεμετρία:Ενδογραμμική κρυπτογράφηση IPsec/TLS σε 200Gbps, καθώς και παρακολούθηση ροής με βάση το υλικό (π.χ. παρακολούθηση συνδέσεων, ιστόγραφα).

Σύμφωνα μεΕιδικότητες MCX653106A-HDAT, ο προσαρμογός υποστηρίζει διεπαφές PCIe 4.0/5.0 x16, διασφαλίζοντας ότι δεν υπάρχει μειονεκτικός κόπος στην πλευρά του οικοδεσπότη ακόμη και με πλήρη ταχύτητα γραμμής 200GbE.

Μια επικυρωμένη τοπολογία αναφοράς αποτελείται από:

• Υπολογιστικό στρώμα:48 διακομιστές διπλής πρίζας, ο καθένας εξοπλισμένος με μίαMCX653106A-HDATΟι πόρτες συνδέονται ως ενεργητική-ενεργή ΟΤΕ.
• Διάταξη αποθήκευσης:12 εξ ολοκλήρου flash NVMe-oF διακομιστές στόχου, ο καθένας με δύοΠίνακας προσαρμογής MCX653106A-HDAT EthernetΜονάδες ∙ μία για πρόσβαση υπολογιστών front-end, μία για αντιγραφή back-end.
• Δίκτυο στρώμα:Τέσσερις 100GbE Spine διακόπτες και οκτώ Leaf διακόπτες, διαμορφωμένοι με DCBX, PFC (κλάση 3 για RoCE) και ECN κατώτατα όρια.

Για την κλιμάκωση πέραν των 200 κόμβων, η αρχιτεκτονική υποστηρίζει σχέδια πολλαπλών δομών χρησιμοποιώντας EVPN-VXLAN με αποφόρτιση υλικού (πλήρωςΣυμφωνία MCX653106A-HDATΓια την αξιολόγηση της χωρητικότητας, ηMCX653106A-HDAT τιμήΗ τιμή της πρόσβασης σε κάθε χρησιμοποιήσιμη θύρα 100GbE είναι περίπου 40% χαμηλότερη από τις συγκρίσιμες λύσεις Fibre Channel ή InfiniBand.

Η αποτελεσματική λειτουργία των αναπτύξεων RDMA/RoCE απαιτεί εξειδικευμένα εργαλεία.

Για την αντιμετώπιση προβλημάτων, συλλέξτε συγκεκριμένα μεταδεδομένα RoCEv2 χρησιμοποιώντας∆ιατροφήκαιεβv_devinfoΟι συνηθισμένες παγίδες περιλαμβάνουν λανθασμένες προτεραιότητες PFC (εξασφάλιση της συνέπειας σε όλες τις συσκευές δικτύου) και ασύμβατες ταχύτητες συνδέσεων PCIe (εξυπηρέτηση μεΠΡΟΕΔΡΟΣ)).

ΗNVIDIA Mellanox MCX653106A-HDATπροσφέρει μια αποδεδειγμένη, έτοιμη για παραγωγή πλατφόρμα για τη μετατροπή των τυποποιημένων υλικών Ethernet σε δίκτυα υψηλής απόδοσης και χωρίς απώλειες.

• Κλιμάκωση:Διοριστική καθυστέρηση ανάγνωσης NVMe-oF sub-10μs (P99), που επιτρέπει την ανάλυση σε πραγματικό χρόνο και τη σύγκλιση HPC.
• Δυνατότητα παροχής:200GbE με ταχύτητα κοντινής γραμμής με μηδενική απώλεια πακέτων, επικυρωμένη έναντιΕιδικότητες MCX653106A-HDAT.
• Αποδοτικότητα CPU:Απελευθερώνει έως και το 30% των πυρήνων CPU που καταναλώνονταν προηγουμένως από τις στοίβες δικτύου και αποθήκευσης.
• Το κόστος εκτέλεσης:Σε σύγκριση με τις ιδιόκτητες διασυνδέσεις,MCX653106A-HDAT προς πώλησηΗ τιμή, σε συνδυασμό με τη συνήθη εναλλαγή Ethernet, μειώνει τα τριετή λειτουργικά έξοδα κατά 35-50%.

Οι αρχιτέκτονες και οι επικεφαλής των επιχειρήσεων μπορούν με αυτοπεποίθηση να αναπτύξουν αυτή τη λύση για υφάσματα τεχνητής νοημοσύνης, διαχωρισμένη αποθήκευση και χρηματοοικονομικά συστήματα εξαιρετικά χαμηλής καθυστέρησης.να αναφέρεται στον υπάλληλοΔελτίο δεδομένων MCX653106A-HDATκαι την βιβλιοθήκη εγγράφων DOCA της NVIDIA.