Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC σε δράση.

Τα κέντρα δεδομένων υπερκλίμακας και τα εταιρικά περιβάλλοντα cloud αντιμετωπίζουν μια κοινή πρόκληση: καθώς αυξάνεται ο αριθμός των πυρήνων της CPU, η παραδοσιακή δικτύωση TCP/IP γίνεται το σημείο συμφόρησης. Η επιβάρυνση πρωτοκόλλου, τα αντίγραφα μνήμης και οι διακόπτες περιβάλλοντος καταναλώνουν σημαντικούς πόρους CPU, περιορίζοντας την απόδοση της εφαρμογής. Αυτή η μελέτη περίπτωσης εξετάζει πώς μια ομάδα υποδομής χρηματοοικονομικών υπηρεσιών αντιμετώπισε αυτά τα σημεία πόνου με την ανάπτυξη τουMellanox (NVIDIA Mellanox) MCX556A-ECATNIC διακομιστή, επιτυγχάνοντας δραματικές μειώσεις στην καθυστέρηση και μετρήσιμες βελτιώσεις στη διεκπεραίωση του διακομιστή.

Ιστορικό και προκλήσεις: Όταν κάθε μικροδευτερόλεπτο μετράει

Η ομάδα υποδομής διαχειρίστηκε ένα κατανεμημένο σύμπλεγμα βάσεων δεδομένων που υποστηρίζει αναλύσεις κινδύνου σε πραγματικό χρόνο. Με εκατοντάδες διακομιστές εμπορευμάτων συνδεδεμένους μέσω 25 GbE, η επικοινωνία μεταξύ κόμβων βασιζόταν στο TCP. Καθώς αυξάνονταν οι όγκοι συναλλαγών, προέκυψαν τρία κρίσιμα ζητήματα: Η χρήση της CPU σε κόμβους βάσης δεδομένων ξεπέρασε το 75% λόγω της επεξεργασίας στοίβας δικτύου. Η καθυστέρηση της ουράς για λειτουργίες μνήμης μεταξύ κόμβων αυξήθηκε στα 200 μικροδευτερόλεπτα κατά τις ώρες αιχμής. και η εταιρεία αντιμετώπισε δαπανηρή υπερπρομήθεια—προσθήκη περισσότερων διακομιστών μόνο για να χειριστεί τα γενικά έξοδα δικτύου, όχι να υπολογίσει τη ζήτηση. Η ομάδα χρειαζόταν έναΛύση κάρτας προσαρμογέα Ethernet MCX556A-ECATπου θα μπορούσε να αποφορτώσει τη δικτύωση ενώ ενεργοποιούσε την απομακρυσμένη άμεση πρόσβαση στη μνήμη (RDMA).

Λύση & Ανάπτυξη: Εφαρμογή RoCE με προσαρμογείς ConnectX

Αφού αξιολόγησε τις επιλογές, η ομάδα επέλεξε τοNVIDIA Mellanox MCX556A-ECATβασίζεται στη χωρητικότητα 100 GbE διπλής θύρας και στην εγγενή υποστήριξη RoCE (RDMA μέσω Converged Ethernet). Αναπτύχθηκε ως πρότυποΠροσαρμογέας MCX556A-ECAT ConnectX κάρτα δικτύου PCIe, κάθε κεντρικός υπολογιστής έλαβε έναν μεμονωμένο προσαρμογέα συνδεδεμένο σε διακόπτη top-of-rack με δυνατότητα RoCE με ενεργοποιημένο το PFC (Priority Flow Control) και το ECN (Explicit Congestion Notification). Η διαδρομή μετεγκατάστασης ήταν απλή: ο προσαρμογέας είναιΣυμβατό με MCX556A-ECATμε τις υπάρχουσες υποδοχές PCIe 3.0, εξαλείφοντας τις αναβαθμίσεις διακομιστή. Η διαμόρφωση περιλάμβανε ενεργοποίηση του RoCE στη στοίβα προγραμμάτων οδήγησης και προσαρμογή των ορίων προσωρινής μνήμης όπως περιγράφεται στοΦύλλο δεδομένων MCX556A-ECAT. Μέσα σε δύο εβδομάδες, ολόκληρο το σύμπλεγμα 120 κόμβων εκτελούσε επικοινωνία βασισμένη σε RDMA για αναπαραγωγή της βάσης δεδομένων και προσωρινή αποθήκευση στη μνήμη.

ΟΚάρτα προσαρμογέα Ethernet MCX556A-ECATεκφορτωμένες λειτουργίες κλειδιών: παράκαμψη πυρήνα μέσω του userpace Verbs API, μεταφορά βάσει υλικού για εγγραφές/αναγνώσεις RDMA και μετακίνηση δεδομένων μηδενικής αντιγραφής. Αυτό γύρισε τοMellanox (NVIDIA Mellanox) MCX556A-ECATστη ραχοκοκαλιά χαμηλής καθυστέρησης του συμπλέγματος χωρίς αλλαγή της υπάρχουσας λογικής εφαρμογής—μόνο μετάβαση από υποδοχές TCP σε libfabric ή UCX, μια αλλαγή που διαχειρίζεται κατά τη διάρκεια ενός παραθύρου τακτικής συντήρησης.

Αποτελέσματα & Οφέλη: Μετρήσιμα κέρδη σε καθυστέρηση και απόδοση

Οι μετρήσεις μετά την ανάπτυξη επικύρωσαν την επένδυση. Χρησιμοποιώντας τοΠροδιαγραφές MCX556A-ECATως βασική γραμμή (καθυστέρηση υλικού υπομικροδευτερολέπτου), η ομάδα πέτυχε:

Πέρα από τους πρωτογενείς αριθμούς, η ομάδα πέτυχε σταθερή καθυστέρηση κάτω από 4 μικροδευτερόλεπτα στο 99,9ο εκατοστημόριο - κρίσιμο για τους υπολογισμούς κινδύνου. Οι απελευθερωμένοι πυρήνες CPU επέτρεψαν στους υπάρχοντες διακομιστές να χειρίζονται 40% περισσότερα νήματα εφαρμογών, αναβάλλοντας τις αγορές υλικού. ΟΠωλείται MCX556A-ECATΤα οικονομικά στοιχεία έγιναν ξεκάθαρα: ένας προσαρμογέας ανά διακομιστή παρέδωσε απόδοση επένδυσης εντός έξι μηνών αποκλειστικά από μειωμένο αριθμό κόμβων και χαμηλότερο κόστος ισχύος/ψύξης. Για όσους ψάχνουνMCX556A-ECAT τιμήέναντι των ανταγωνιστικών καρτών 100G, το συνολικό κόστος ιδιοκτησίας —συμπεριλαμβανομένης της συμβατότητας λογισμικού και της σταθερότητας του προγράμματος οδήγησης— ευνόησε τη λύση Mellanox.

Η ομάδα επαλήθευσε επίσηςΣυμβατό με MCX556A-ECATκατάσταση με την υπάρχουσα συστοιχία αποθήκευσης NVMe, επιτρέποντας το NVMe over Fabrics (NVMe-oF) με RDMA. Αυτή η ενοποιημένη δικτύωση αποθήκευσης στο ίδιο ύφασμα, απλοποιώντας τις θύρες καλωδίωσης και μεταγωγής. Σύμφωνα με τοΦύλλο δεδομένων MCX556A-ECAT, η κάρτα υποστηρίζει έως και 16 εκατομμύρια IOPS ανά θύρα—περιθώριο κεφαλής που η ομάδα σχεδιάζει να χρησιμοποιήσει κατά την αναβάθμιση του αποθηκευτικού χώρου του επόμενου έτους.

Περίληψη & Προοπτική: Ένα Ίδρυμα για Κέντρα Δεδομένων Επόμενης Γενιάς

Αυτή η ανάπτυξη αποδεικνύει ότι τοMCX556A-ECATδεν είναι απλώς ένα ταχύτερο NIC, αλλά μια πλατφόρμα για αρχιτεκτονικό μετασχηματισμό. Ενεργοποιώντας το RDMA/RoCE, οι οργανισμοί μπορούν να σπάσουν το σημείο συμφόρησης του TCP, να επαναχρησιμοποιήσουν τους κύκλους της CPU για φόρτους εργασίας προστιθέμενης αξίας και να κλιμακωθούν αποτελεσματικά. ΟNVIDIA Mellanox MCX556A-ECATέχει αποδείξει την αξία του στα οικονομικά ευαίσθητα σε καθυστέρηση, αλλά τα οφέλη του επεκτείνονται στην εκπαίδευση τεχνητής νοημοσύνης, στις προσομοιώσεις HPC και στις κατανεμημένες βάσεις δεδομένων. Για τις ομάδες που αξιολογούν αναβαθμίσεις 100G, τοΠροσαρμογέας MCX556A-ECAT ConnectX κάρτα δικτύου PCIeαντιπροσωπεύει μια ώριμη, καλά τεκμηριωμένη επιλογή. Είτε συμβουλευτείτε τοΠροδιαγραφές MCX556A-ECATγια συντονισμό απόδοσης ή αναζήτησηΠωλείται MCX556A-ECATγια να σχεδιάσετε μια κυκλοφορία σε όλο το σύμπλεγμα, αυτός ο προσαρμογέας ανταποκρίνεται στην υπόσχεση ενός Ethernet με πραγματικά χωρίς απώλειες και χαμηλής καθυστέρησης.