RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και εξάπλωση διακομιστή

Ένα ταχέως αναπτυσσόμενο εργαστήριο έρευνας AI αντιμετώπιζε ένα οικείο πρόβλημα: η υποδομή 100GbE τους παρείχε εύρος ζώνης σε ταχύτητα καλωδίου, αλλά η καθυστέρηση των εφαρμογών παρέμενε επίμονα υψηλή. Οι εργασίες κατανεμημένης εκπαίδευσης υπέφεραν από συχνό δίκτυο jitter, και η πρόσβαση σε αποθηκευτικό χώρο NVMe-over-Fabrics πρόσθετε απρόβλεπτες καθυστερήσεις. Η ρίζα του προβλήματος; Οι παραδοσιακές στοίβες TCP/IP κατανάλωναν σχεδόν το 30% των πυρήνων CPU μόνο για την επεξεργασία πακέτων, αφήνοντας λιγότερη υπολογιστική ισχύ για τις πραγματικές εργασίες. Η ομάδα χρειαζόταν μια θεμελιώδη αλλαγή – τη μετακίνηση δεδομένων χωρίς να επιβαρύνεται η CPU του κεντρικού υπολογιστή. Αυτή η αναζήτηση τους οδήγησε στην αξιολόγηση της κάρτας δικτύου διακομιστή Mellanox (NVIDIA Mellanox) MCX653105A-HDAT.

Το εργαστήριο ανέπτυξε την MCX653105A-HDAT σε 24 κόμβους υπολογιστών, καθένας εξοπλισμένος με διπλή θύρα 100GbE. Ως εγγενής κάρτα δικτύου PCIe προσαρμογέα MCX653105A-HDAT ConnectX, υποστηρίζει RoCE (RDMA over Converged Ethernet) με εκφόρτιση υλικού, επιτρέποντας στα δεδομένα να παρακάμπτουν τον πυρήνα και να μετακινούνται απευθείας μεταξύ περιοχών μνήμης. Η διαδικασία διαμόρφωσης ήταν απλή: μετά την επαλήθευση συμβατών διακομιστών MCX653105A-HDAT(Supermicro και Dell PowerEdge), οι μηχανικοί εγκατέστησαν τους τελευταίους οδηγούς MLNX_OFED και ενεργοποίησαν το RoCE με έλεγχο συμφόρησης DCQCN. Η κάρτα προσαρμογέα Ethernet MCX653105A-HDAT εκφόρτισε αμέσως την επεξεργασία δικτύου από την CPU, μειώνοντας την επιβάρυνση του λογισμικού σε σχεδόν μηδέν.

Για την κίνηση αποθήκευσης, η ομάδα αντιστοίχισε χώρους ονομάτων NVMe απευθείας μέσω RDMA. Η NVIDIA Mellanox MCX653105A-HDAT χειρίστηκε τη μετακίνηση δεδομένων με καθυστέρηση κάτω του μικροδευτερολέπτου, ενώ η καθοδήγηση βάσει υλικού εξασφάλισε την απομόνωση μεταξύ των ροών υπολογιστών και αποθήκευσης. Σύμφωνα με το φύλλου δεδομένων MCX653105A-HDAT, ο προσαρμογέας υποστηρίζει συνολική απόδοση έως και 200Gb/s – και στην πράξη, το εργαστήριο πέτυχε 100GbE ανά θύρα σε ταχύτητα γραμμής χωρίς ούτε ένα χαμένο πακέτο υπό πλήρες φορτίο.

• 50% μείωση στην καθυστέρηση από άκρο σε άκρο: Οι δοκιμές MPI ping-pong μειώθηκαν από 2,8 μs (TCP) σε 1,4 μs (RoCE).
• Χρήση CPU μειώθηκε κατά 70%: Η επεξεργασία της στοίβας δικτύου μεταφέρθηκε εξ ολοκλήρου στο υλικό, απελευθερώνοντας πυρήνες για την εκπαίδευση μοντέλων.
• IOPS αποθήκευσης διπλασιάστηκαν: Το NVMe-oF μέσω RDMA εξάλειψε τη γέφυρα λογισμικού, ωθώντας την καθυστέρηση κάτω από 10 μs για προσβάσεις μικρών μπλοκ.

Η ομάδα επικύρωσε επίσης τις προδιαγραφών MCX653105A-HDAT σε σχέση με το περιβάλλον παραγωγής τους: διεπαφή PCIe 4.0 x16, σχεδιασμός διπλής υποδοχής ψύξης και πλήρης υποστήριξη για ειδοποιήσεις συμφόρησης RoCE. Για τον σχεδιασμό χωρητικότητας, εξέτασαν την τιμή MCX653105A-HDAT σε σχέση με το συνολικό κόστος ιδιοκτησίας – ο προσαρμογέας απέδωσε το κόστος του εντός τριών μηνών μειώνοντας την επέκταση των διακομιστών και βελτιώνοντας την πυκνότητα εργασιών. Κατά την αναζήτηση MCX653105A-HDAT προς πώληση μέσω εξουσιοδοτημένων διανομέων, βρήκαν πολλαπλές επιλογές διαμόρφωσης (μονής θύρας, διπλής θύρας, με ή χωρίς ασφαλή εκκίνηση).

Αυτή η ανάπτυξη επιβεβαιώνει ότι η NVIDIA Mellanox MCX653105A-HDAT είναι κάτι περισσότερο από μια κάρτα δικτύου υψηλής ταχύτητας – είναι μια ολοκληρωμένη πλατφόρμα επιτάχυνσης δεδομένων. Μεταφέροντας την επεξεργασία δικτύου στο υλικό και ενεργοποιώντας το πραγματικό RDMA/RoCE, οι οργανισμοί μπορούν να απελευθερωθούν από τη δικτύωση που περιορίζεται από την CPU χωρίς αναβαθμίσεις μεγάλης κλίμακας. Είτε εκτελείτε εκπαίδευση AI, κατανεμημένες βάσεις δεδομένων ή υπερ-συγκεντρωμένη αποθήκευση, η κάρτα δικτύου PCIe προσαρμογέα MCX653105A-HDAT ConnectX προσφέρει ντετερμινιστική χαμηλή καθυστέρηση και μέγιστη απόδοση. Για ομάδες που σχεδιάζουν την επόμενη ανανέωση της υποδομής τους, η εξέταση του φύλλου δεδομένων MCX653105A-HDAT και των προδιαγραφών MCX653105A-HDAT είναι το λογικό πρώτο βήμα. Ο προσαρμογέας είναι ευρέως MCX653105A-HDAT προς πώληση μέσω παγκόσμιων διανομέων, και η συμβατότητα με κορυφαίες πλατφόρμες διακομιστών εξασφαλίζει μια ομαλή πορεία μετάβασης. Όπως συνόψισε ένας μηχανικός: "Η κάρτα προσαρμογέα Ethernet MCX653105A-HDAT μετέτρεψε το δίκτυο 100GbE μας από σημείο συμφόρησης σε πολλαπλασιαστή απόδοσης."