Τεχνική λύση: επίτευξη RDMA/RoCE χαμηλής καθυστέρησης και βελτιστοποίησης της απόδοσης με το Mellanox

Τα σύγχρονα κέντρα δεδομένων βρίσκονται υπό συνεχή πίεση για να προσφέρουν υψηλότερη απόδοση σε εφαρμογές ευαίσθητες στην καθυστέρηση, όπως κατανεμημένες βάσεις δεδομένων, υπολογιστική υψηλής απόδοσης (HPC) και συστοιχίες εκπαίδευσης AI. Η παραδοσιακή δικτύωση TCP/IP επιβάλλει σημαντικό φόρτο στην CPU, δημιουργώντας σημεία συμφόρησης που περιορίζουν την επεκτασιμότητα των εφαρμογών και αυξάνουν τους χρόνους απόκρισης. Για οργανισμούς που επιθυμούν να εκσυγχρονίσουν την υποδομή τους, η βασική απαίτηση είναι σαφής: μείωση της καθυστέρησης και αύξηση της απόδοσης του διακομιστή χωρίς δαπανηρές αναθεωρήσεις αρχιτεκτονικής.

Η λύση έγκειται στην υιοθέτηση RDMA (Remote Direct Memory Access) μέσω Converged Ethernet (RoCE). Αυτή η τεχνολογία επιτρέπει απευθείας μεταφορές δεδομένων από μνήμη σε μνήμη, παρακάμπτοντας τον πυρήνα του λειτουργικού συστήματος για να απελευθερώσει πόρους της CPU και να ελαχιστοποιήσει την καθυστέρηση. Στην καρδιά αυτού του μετασχηματισμού βρίσκεται η κάρτα δικτυακής διεπαφής (NIC). Η MCX631432AN-ADAB από τη Mellanox (NVIDIA) είναι ειδικά σχεδιασμένη για να καλύψει αυτές τις απαιτήσεις, παρέχοντας μια ισχυρή βάση για δίκτυα με δυνατότητα RoCE.

Η προτεινόμενη αρχιτεκτονική είναι ένα δίκτυο leaf-spine σχεδιασμένο για περιβάλλον Ethernet χωρίς απώλειες, το οποίο αποτελεί προαπαιτούμενο για βέλτιστη απόδοση RoCEv2. Ο σχεδιασμός ενσωματώνει την κίνηση υπολογιστικής και αποθήκευσης σε ένα ενοποιημένο, υψηλής ταχύτητας δίκτυο για τη μείωση της πολυπλοκότητας και του κόστους.

• Επίπεδο Spine: Διακόπτες 100GbE υψηλής χωρητικότητας παρέχουν μη-μπλοκάριστη συνδεσιμότητα μεταξύ όλων των διακοπτών leaf, διασφαλίζοντας διαδρομές χαμηλής καθυστέρησης οποιουδήποτε-προς-οποιονδήποτε.
• Επίπεδο Leaf: Διακόπτες Top-of-Rack (ToR) με συνδέσεις 25GbE προς τα κάτω συνδέονται με διακομιστές και κόμβους αποθήκευσης. Αυτοί οι διακόπτες είναι διαμορφωμένοι με Priority Flow Control (PFC) και Explicit Congestion Notification (ECN) για τη διατήρηση ενός δικτύου χωρίς απώλειες.
• Επίπεδο Διακομιστή: Κάθε διακομιστής είναι εξοπλισμένος με την NVIDIA Mellanox MCX631432AN-ADAB, έναν προσαρμογέα SFP28 dual-port 25GbE. Αυτό επιτρέπει τη σύνδεση δικτύου (bonding) ή ξεχωριστές διαδρομές για κίνηση αποθήκευσης και υπολογιστικής.

Αυτός ο σχεδιασμός διασφαλίζει ότι η κάρτα προσαρμογέα Ethernet MCX631432AN-ADAB λειτουργεί σε ένα περιβάλλον όπου η κίνηση RoCE μπορεί να ρέει χωρίς απώλεια πακέτων, κάτι που είναι κρίσιμο για τη διατήρηση υψηλής απόδοσης και χαμηλής καθυστέρησης.

Η MCX631432AN-ADAB είναι το κρίσιμο τελικό σημείο που επιτρέπει ολόκληρη τη λύση. Ως μέλος της οικογένειας ConnectX-6 Lx, προσφέρει χαρακτηριστικά εταιρικής κλάσης στη μορφή 25GbE. Ο κύριος ρόλος της είναι να λειτουργεί ως η λύση κάρτας προσαρμογέα Ethernet MCX631432AN-ADAB τόσο για την κίνηση υπολογιστικής όσο και για την κίνηση αποθήκευσης, εκφορτώνοντας εργασίες δικτύωσης από την CPU του διακομιστή.

Βασικές τεχνικές συνεισφορές του προσαρμογέα περιλαμβάνουν:

• Εκφόρτωση Υλικού (Hardware Offloads): Η κάρτα χειρίζεται όλες τις πτυχές του πρωτοκόλλου RoCE σε υλικό, συμπεριλαμβανομένης της μεταφοράς, της ενθυλάκωσης και του ελέγχου συμφόρησης. Αυτό διασφαλίζει ότι οι λειτουργίες RDMA καταναλώνουν σχεδόν μηδενικούς κύκλους CPU.
• Ευελιξία Διπλής Θύρας: Οι διπλές θύρες 25GbE μπορούν να διαμορφωθούν για εναλλαγή ενεργού/αναμονής (active/standby failover) ή να χρησιμοποιηθούν για τον διαχωρισμό τύπων κίνησης. Για παράδειγμα, μία θύρα μπορεί να χειρίζεται κίνηση Ethernet εμπρόσθιας όψης, ενώ η άλλη είναι αφιερωμένη στην κίνηση αποθήκευσης οπίσθιας όψης χρησιμοποιώντας RoCE, μεγιστοποιώντας την απόδοση και την ασφάλεια.
• Διεπαφή Υποδοχής PCIe 3.0 x16: Με επαρκές εύρος ζώνης για την ταυτόχρονη λειτουργία και των δύο θυρών 25GbE, η MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 διασφαλίζει ότι κανένα εσωτερικό σημείο συμφόρησης δεν περιορίζει την απόδοση της εφαρμογής.

Η ανάπτυξη της MCX631432AN-ADAB απαιτεί προσεκτικό σχεδιασμό του δικτύου και της διαμόρφωσης του διακομιστή. Τα ακόλουθα βήματα περιγράφουν μια τυπική ανάπτυξη για μια συστοιχία υψηλής απόδοσης:

• Προετοιμασία Δικτύου: Πριν από την ανάπτυξη, διαμορφώστε τους διακόπτες δικτύου για να υποστηρίζουν RoCE. Αυτό περιλαμβάνει την ενεργοποίηση του PFC για την κλάση κίνησης RoCE και την εφαρμογή διαχείρισης συμφόρησης βάσει ECN. Αυτό δημιουργεί το περιβάλλον χωρίς απώλειες που απαιτείται για τη βέλτιστη απόδοση του προσαρμογέα.
• Εγκατάσταση Οδηγών και Firmware: Εγκαταστήστε τους τελευταίους οδηγούς NVIDIA WinOF-2 (για Windows) ή MLNX_OFED (για Linux) για να διασφαλίσετε πλήρη υποστήριξη χαρακτηριστικών. Είναι κρίσιμο να επαληθευτεί ότι το firmware στην MCX631432AN-ADAB είναι ενημερωμένο για βέλτιστη απόδοση RoCE και συμβατότητα.
• Κλιμάκωση της Συστοιχίας: Η αρχιτεκτονική κλιμακώνεται οριζόντια προσθέτοντας περισσότερους κόμβους διακομιστών, καθένας με τη δική του MCX631432AN-ADAB. Το μη-μπλοκάριστο δίκτυο leaf-spine διασφαλίζει ότι οι προστιθέμενοι κόμβοι δεν υποβαθμίζουν την απόδοση για τους υπάρχοντες. Για μεγαλύτερες αναπτύξεις, μπορούν να χρησιμοποιηθούν ομάδες συγκέντρωσης συνδέσεων (LAGs) μεταξύ των διακοπτών leaf και spine.

Μια τυπική τοπολογία για μια συστοιχία βάσεων δεδομένων περιλαμβάνει τη σύνδεση των κύριων και των αντιγράφων διακομιστών στον ίδιο διακόπτη leaf για την ελαχιστοποίηση της καθυστέρησης μεταξύ των ραφιών. Κάθε διακομιστής χρησιμοποιεί τον προσαρμογέα διπλής θύρας του για να συνδεθεί σε δύο ξεχωριστούς διακόπτες leaf για πλεονασμό.

Μετά την ανάπτυξη, η διατήρηση της απόδοσης απαιτεί προληπτική παρακολούθηση και ρύθμιση. Η MCX631432AN-ADAB παρέχει ολοκληρωμένη τηλεμετρία για αυτόν τον σκοπό.

• Παρακολούθηση Βασικών Μετρήσεων: Χρησιμοποιήστε εργαλεία όπως `mlxstat` και `ethtool` για την παρακολούθηση μετρητών θυρών, σφαλμάτων σύνδεσης και στατιστικών κίνησης RDMA. Η παρακολούθηση των πακέτων παύσης PFC είναι απαραίτητη. ένας υψηλός αριθμός υποδεικνύει ένα δίκτυο με απώλειες που θα υποβαθμίσει την απόδοση RoCE.
• Ενημερώσεις Firmware και Οδηγών: Ελέγχετε τακτικά για ενημερώσεις. Νέο firmware συχνά περιλαμβάνει βελτιστοποιήσεις απόδοσης και διορθώσεις σφαλμάτων που μπορούν να μειώσουν περαιτέρω την καθυστέρηση και να βελτιώσουν τη συμβατότητα με τους διακόπτες ανάντη.
• Βελτιστοποίηση Απόδοσης: Για περιβάλλοντα με τις πιο απαιτητικές απαιτήσεις καθυστέρησης, η λεπτομερής ρύθμιση της τροποποίησης διακοπών και των μεγεθών των buffers μπορεί να αποφέρει σταδιακά κέρδη. Η ευελιξία του προσαρμογέα επιτρέπει στους αρχιτέκτονες να προσαρμόζουν τις ρυθμίσεις με βάση τη συγκεκριμένη φόρτο εργασίας τους (π.χ., HPC έναντι εικονικοποίησης).

Για την αντιμετώπιση προβλημάτων συνδεσιμότητας, η επαλήθευση ότι οι μονάδες SFP28 είναι συμβατές με MCX631432AN-ADAB είναι το πρώτο βήμα. Η χρήση οπτικών μονάδων πιστοποιημένων από την NVIDIA διασφαλίζει αξιόπιστη εγκατάσταση σύνδεσης και απόδοση.

Η MCX631432AN-ADAB από τη Mellanox (NVIDIA) παρέχει μια σαφή και αποτελεσματική οδό για την υλοποίηση ενός δικτύου υψηλής απόδοσης και χαμηλής καθυστέρησης. Αξιοποιώντας τις προηγμένες δυνατότητες εκφόρτωσης RoCE, οι οργανισμοί μπορούν να επιτύχουν τα διπλά οφέλη της δραστικά μειωμένης επιβάρυνσης της CPU και της σημαντικά αυξημένης απόδοσης του διακομιστή. Οι λεπτομερείς προδιαγραφές MCX631432AN-ADAB και το φύλλο δεδομένων MCX631432AN-ADAB επικυρώνουν την ικανότητά της να χειρίζεται τις πιο απαιτητικές φόρτους εργασίας.

Για τους IT managers και τους αρχιτέκτονες δικτύων που αξιολογούν μια ανανέωση υλικού, τα κέρδη απόδοσης που προσφέρει αυτή η λύση μεταφράζονται άμεσα σε επιχειρηματική αξία: ταχύτερη επεξεργασία συναλλαγών, πιο αποτελεσματική πρόσβαση στην αποθήκευση και βελτιωμένο συνολικό κόστος ιδιοκτησίας. Καθώς οι απαιτήσεις δεδομένων συνεχίζουν να κλιμακώνονται, η ανάπτυξη της MCX631432AN-ADAB διασφαλίζει ότι η δικτυακή υποδομή δεν αποτελεί σημείο συμφόρησης, αλλά επιταχυντή. Για λεπτομερείς πληροφορίες τιμολόγησης ή για να ελέγξετε την τιμή MCX631432AN-ADAB και τη διαθεσιμότητα, συμβουλευτείτε τον εκπρόσωπό σας στην NVIDIA.