NVIDIA Mellanox MCX653106A-HDAT Τεχνική λύση: Επιτρέποντας τη μετάδοση RDMA / RoCE χαμηλής καθυστέρησης και μεγιστοποιώντας τον διακομιστή

Οι σύγχρονες αρχιτεκτονικές κέντρων δεδομένων καθορίζονται όλο και περισσότερο από την ανάγκη για επεξεργασία δεδομένων σε πραγματικό χρόνο, φόρτους εργασίας τεχνητής νοημοσύνης (AI) και υπολογιστών υψηλής απόδοσης (HPC).Παραδοσιακές συστοιχίες δικτύου, ιδιαίτερα το TCP/IP, εισάγουν σημαντικές δαπάνες CPU και καθυστέρηση που μπορούν να παραλύσουν αυτές τις εφαρμογές ευαίσθητες στην απόδοση.Οι αρχιτέκτονες δικτύων και οι μηχανικοί μεταφορών έχουν ως αποστολή την οικοδόμηση υποδομής που μπορεί να κλιμακωθεί αποτελεσματικά ενώ πληρούν αυστηρές συμφωνίες επιπέδου υπηρεσίας (SLA) για καθυστέρηση και απόδοση.

Η βασική απαίτηση που προσδιορίζεται στο παρόν τεχνικό σχέδιο είναι η καθιέρωση ενός μη-αποζημιωτικού συστήματος,υφάσματα υψηλού εύρους ζώνης που υποστηρίζουν την πρόσβαση σε άμεση μνήμη από απόσταση (RDMA) μέσω Converged Ethernet (RoCE)Για να επιτευχθεί αυτό, η υποκείμενη κάρτα διεπαφής δικτύου (NIC) πρέπει όχι μόνο να υποστηρίζει ταχύτητες γραμμικού ρυθμού 100/200GbE, αλλά και να παρέχει εξελιγμένες εκφόρτωσεις υλικού για να απελευθερώσει τους πόρους του host CPU.Εδώ είναι που τοMCX653106A-HDATγίνεται το θεμελιώδες στοιχείο της λύσης.

Η προτεινόμενη αρχιτεκτονική είναι μια σπονδυλική τοπολογία που έχει σχεδιαστεί για ένα περιβάλλον ιδιωτικού cloud που φιλοξενεί τόσο εικονικά φορτία εργασίας όσο και ομάδες HPC γυμνού μετάλλου.Το δίκτυο είναι χωρισμένο για να υποστηρίζει την κίνηση RoCEΤα βασικά στοιχεία του σχεδιασμού περιλαμβάνουν:

• Εναλλακτικά φύλλων:Οι διακόπτες της σειράς NVIDIA Spectrum SN3000 έχουν ρυθμιστεί με PFC (Προτεραιότητα Ελέγχου ροής) και ETS (Ενισχυμένη επιλογή μετάδοσης) για να δημιουργήσουν ένα υλικό RoCE χωρίς απώλειες.
• Εναλλακτικοί μηχανισμοί σπονδυλικής στήλης:Διακόπτες υψηλής χωρητικότητας που παρέχουν μη αποκλειστική διασύνδεση μεταξύ όλων των διακόπτες φύλλων.
• Σημεία υπολογισμού και αποθήκευσης:Κάθε διακομιστής είναι εξοπλισμένος μεNVIDIA Mellanox MCX653106A-HDATγια σύνδεση με τους διακόπτες φύλλων με ταχύτητα 100Gb/s.

Αυτός ο σχεδιασμός εξασφαλίζει ότι η επικοινωνία από οποιονδήποτε σε οποιονδήποτε εντός του κέντρου δεδομένων βιώνει ελάχιστη καθυστέρηση και μηδενική απώλεια πακέτων λόγω συμφόρησης, η οποία είναι κρίσιμη για τη σταθερότητα της κυκλοφορίας RDMA.

ΩςMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIe, αυτή η συσκευή λειτουργεί ως η κρίσιμη διεπαφή μεταξύ της λεωφορείας μνήμης του διακομιστή και του ιστού δικτύου.Η κάρτα ενσωματώνει τις προηγμένες δυνατότητες του χειριστή ConnectX-6, η οποία είναι ειδικά κατασκευασμένη για αυτά τα απαιτητικά περιβάλλοντα.Πίνακας προσαρμογής MCX653106A-HDAT Ethernet, επιτρέπει:

• Παράκαμψη πυρήνα και RDMA:Οι εφαρμογές μπορούν να επικοινωνούν απευθείας με το NIC, παρακάμπτοντας τον πυρήνα του λειτουργικού συστήματος.Διαβίβαση χαμηλής καθυστέρησης RDMA/RoCE.
• Αποφόρτιση υλικού:Η κάρτα εκφορτώνει τα πρωτόκολλα αποθήκευσης και δικτύωσης όπως NVMe-oF και VXLAN, μειώνοντας περαιτέρω το CPU overhead και επιταχύνονταςΔυνατότητα παροχής δεδομένων του διακομιστή.
• Υποστήριξη PCIe Gen3/Gen4:Με μια διεπαφή host PCIe 3.0/4.0 x16, τοMCX653106A-HDATδιασφαλίζει ότι το εύρος ζώνης δικτύου 100/200Gb/s δεν εμποδίζεται από το εσωτερικό δίκτυο του διακομιστή.

Για τους αρχιτέκτονες που εξετάζουν τις τεχνικές λεπτομέρειες, ηΕιδικότητες MCX653106A-HDATΤο σύστημα αυτό υποστηρίζει πάνω από 200 εκατομμύρια πακέτα ανά δευτερόλεπτο, αποδεικνύοντας την ικανότητά του να χειρίζεται τις πιο εντατικές ροές δεδομένων.Λύση κάρτας προσαρμογέα Ethernet MCX653106A-HDATγια το στόχο μας φορτίο εργασίας.

Η ανάπτυξη ενός υλικού RoCEv2 απαιτεί προσεκτικό σχεδιασμό.MCX653106A-HDAT:

• Συνοχή firmware και προγράμματος οδήγησης:Βεβαιωθείτε ότι όλες οι κάρτες αναβοσβήνουν με την ίδια έκδοση firmware και ότι το driver NVIDIA MLNX_OFED είναι εγκατεστημένο με συνέπεια σε όλους τους κόμβους.
• Διαμόρφωση διακόπτη:Εφαρμογή PFC στους διακόπτες για τις ειδικές ουρές προτεραιότητας 802.1p που ορίζονται για την κυκλοφορία RoCE (συνήθως προτεραιότητα 3).αποφυγή εξάντλησης του αποθέματος ασφαλείας.
• Διαμόρφωση κόμβου:Σε κάθε διακομιστήΣυμφωνία MCX653106A-HDATεργαλεία όπως "cma_roce_mode" χρησιμοποιούνται για να ορίσετε τη λειτουργία RoCE σε v2 για τη δρομολόγηση.

Για την επέκταση, η αρχιτεκτονική είναι εξαιρετικά επεκτάσιμη.NVIDIA Mellanox MCX653106A-HDATΗ μη αποκλειστική φύση του υφάσματος εξασφαλίζει ότι η απόδοση παραμένει προβλέψιμη καθώς το σύμπλεγμα μεγαλώνει.

Η διατήρηση ενός υφάσματος RoCE υψηλών επιδόσεων απαιτεί αυστηρή παρακολούθηση.MCX653106A-HDATπαρέχει εκτεταμένα δεδομένα τηλεμετρίας μέσω τυποποιημένων εργαλείων και ιδιόκτητου λογισμικού της NVIDIA.

• Παρακολούθηση:Χρησιμοποιήστε το "mlxlink" και το "mlxstat" για τους μετρητές ακεραιότητας και απόδοσης συνδέσμων.και τα ποσοστά κυκλοφορίας RDMA.
• Επεξεργασία προβλημάτων:Όταν οι επιδόσεις υποβαθμίζονται, ο πρώτος έλεγχος είναι συνήθως για πτώσεις πακέτων λόγω καταιγίδων PFC ή εξάντλησης του αποθέματος ασφαλείας.Δελτίο δεδομένων MCX653106A-HDATΒοηθά να συσχετίσουν τους μετρητές με συγκεκριμένα γεγονότα.
• Βελτιστοποίηση:Η προηγμένη ρύθμιση περιλαμβάνει την προσαρμογή των παραμέτρων μετριοποίησης διακοπών και των μεγεθών αιτήσεων ανάγνωσης PCIe.η ενεργοποίηση του SR-IOV και η ανάθεση εικονικών λειτουργιών (VF) απευθείας στις VM μειώνει περαιτέρω την καθυστέρηση.

Κατά την προμήθεια υλικού, η κατανόηση τωνMCX653106A-HDAT τιμήΓια όσους είναι πρόθυμοι να προμηθευτούν, ο έλεγχος τωνMCX653106A-HDAT προς πώλησηΟι λίστες από εξουσιοδοτημένους διανομείς εξασφαλίζουν τα αυθεντικά προϊόντα και την υποστήριξη.

ΗMCX653106A-HDATΜε την παροχή μιας ισχυρής, πλούσιας σε χαρακτηριστικά πλατφόρμας για RDMA / RoCE, η NVIDIA Mellanox είναι περισσότερο από ένα συστατικό.απευθύνεται άμεσα στην ανάγκη της βιομηχανίας για χαμηλότερη καθυστέρηση και υψηλότερη απόδοσηΗ τεχνική λύση αυτή αποδεικνύει ότι με τη σωστή αρχιτεκτονική και πρακτικές ανάπτυξης, οι οργανισμοί μπορούν να επιτύχουν:

• Μέχρι 95% μείωση της καθυστέρησηςγια την επικοινωνία μεταξύ διαδικασιών σε σύγκριση με το παραδοσιακό TCP/IP.
• Σημαντική εξοικονόμηση CPU(συχνά 20-30%) που μπορούν να επανεπενδυθούν στις επιδόσεις των εφαρμογών.
• Μια υποδομή ασφαλή για το μέλλονικανή να υποστηρίζει πρωτόκολλα αποθήκευσης 200GbE και επόμενης γενιάς όπως το NVMe-oF.

Για τους αρχιτέκτονες δικτύων, τους μηχανικούς DevOps και τους επικεφαλής των επιχειρήσεων, ο δρόμος προς ένα υψηλής απόδοσης κέντρο δεδομένων ξεκινά με τα σωστά δομικά στοιχεία.