Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter σε δράση: Μεταφορά χαμηλής καθυστέρησης RDMA/RoCE και διακομιστής

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter σε δράση: RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και βελτιστοποίηση της απόδοσης του διακομιστή

Προηγούμενο & Προκλήσεις: Μειονεκτήματα δικτύου στην κατανεμημένη αποθήκευση και την κατάρτιση AI

Σε ένα πραγματικό περιβάλλον παραγωγής σε έναν μεσαίου μεγέθους πάροχο υπηρεσιών cloud, το βασικό επιχειρηματικό χαρτοφυλάκιο περιλαμβάνει κατανεμημένη αποθήκευση μπλοκ (Ceph) και πλατφόρμες κατάρτισης μοντέλων τεχνητής νοημοσύνης με βάση GPU.Καθώς ο όγκος των δεδομένων πελατών αυξήθηκε με ετήσιο ρυθμό άνω του 200%Η αρχική αρχιτεκτονική δικτύου TCP/IP 10GbE εξέθεσε σταδιακά δύο κρίσιμα σημεία πόνου.αποτρέποντας την απόκτηση πλήρους δυναμικής απόδοσης από την ομάδα αποθήκευσης NVMeΔεύτερον, κατά τη διάρκεια του συγχρονισμού βαθμίδων σε συστάδες εκπαίδευσης GPU, η απόδοση δικτύου θα μπορούσε να φτάσει μόνο το 60% του θεωρητικού εύρους ζώνης,με σημαντικό μέρος των πόρων CPU που καταναλώνεται από τη στοίβα πρωτοκόλλου δικτύου, παρεμποδίζοντας σοβαρά την αποτελεσματικότητα της επανάληψης της εκπαίδευσης.Η ομάδα αρχιτεκτονικής χρειαζόταν επειγόντως μια λύση διεπαφής δικτύου ικανή να μειώσει τόσο την καθυστέρηση μετάδοσης όσο και να βελτιώσει σημαντικά την αποτελεσματική απόδοση του διακομιστή.

Λύση & Εφαρμογή: Επανόρθωση RoCE με το MCX631102AN-ADAT ConnectX-6 Lx

Μετά την αξιολόγηση πολλαπλών εναλλακτικών λύσεων, η ομάδα επέλεξε τοMellanox (NVIDIA Mellanox) MCX631102AN-ADATΗ Εpiιτροpiή Εpiιτροpiών για την Εpiιτροpiή ΕpiιτροpiώνMCX631102AN-ADAT κάρτα προσαρμογή Ethernetτοποθετήθηκε σε 120 κόμβους αποθήκευσης και 64 κόμβους υπολογισμού GPU, αντικαθιστώντας τους υπάρχοντες προσαρμογείς 10GbE. Κάθε διακομιστής ήταν εξοπλισμένος με τη διαμόρφωση SFP28 διπλής θύρας 25GbE,με μία θύρα που συνδέεται με το υλικό παραγωγής RoCE και με τη δεύτερη θύρα που προορίζεται για τη διαχείριση και την υποστήριξη της κυκλοφορίαςΗ ανάπτυξη αξιοποιήθηκε από τηνMCX631102AN-ADAT ConnectX-6 Lx διπλής θύρας 25GbE SFP28η εγγενής υποστήριξη RoCE v2 του προσαρμογέα, εξαλείφοντας την ανάγκη για πρόσθετες συσκευές πύλης ή στρώματα μετάφρασης πρωτοκόλλου.

Η υλοποίηση ακολούθησε μια σταδιακή προσέγγιση.MCX631102AN-ADAT Ethernet λύση κάρτας προσαρμογέαΣε δεύτερη φάση, αναβαθμίστηκαν οι κόμβοι υπολογισμού GPU,με τη δυνατότητα GPUDirect Storage του προσαρμογέα που επιτρέπει στη μνήμη GPU να επικοινωνεί απευθείας με την απομακρυσμένη αποθήκευση NVMe μέσω του δικτύου RoCE, παρακάμπτοντας εντελώς τη συμμετοχή του CPUΗ ολοκληρωμένη ανάπτυξη ολοκληρώθηκε εντός δύο εβδομάδων, με τη διατήρηση της υφιστάμενης υποδομής διακόπτη 25GbE,Συμφωνία MCX631102AN-ADATφυσική φύση με τυπικό εξοπλισμό δικτύωσης κέντρου δεδομένων.

Μετρούμενα αποτελέσματα και κέρδη απόδοσης

Οι βελτιώσεις της απόδοσης που ακολούθησανNVIDIA Mellanox MCX631102AN-ADATΟ ακόλουθος πίνακας συνοψίζει τις βασικές μετρήσεις πριν και μετά που παρατηρήθηκαν στο περιβάλλον παραγωγής:

Πέρα από τις ποσοτικές μετρήσεις, η ομάδα παρατήρησε ποιοτικές βελτιώσεις στη λειτουργική σταθερότητα.MCX631102AN-ADATΗ εκπαίδευση που πραγματοποιείται με τη χρήση των τεχνολογιών της τεχνολογίας της τεχνολογίας της τεχνολογίας της τεχνολογίας της τεχνολογίας της τεχνολογίας της τεχνολογίας της τεχνολογίαςΕιδικότητες MCX631102AN-ADAT, η προηγμένη μηχανή διεύθυνσης και οι δυνατότητες RDMA του προσαρμογέα διασφάλιζαν ότι ακόμη και με 128 ταυτόχρονες συνδέσεις NVMe-oF ανά θύρα, διατηρήθηκε σταθερά η απόδοση του ρυθμού γραμμής.

Από την άποψη του συνολικού κόστους, η ομάδα αρχιτεκτονικής υπολόγισε ότι ηMCX631102AN-ADAT τιμήΤο μέγεθος της ενεργού ροής ανά gigabit ήταν σημαντικά χαμηλότερο από την αναβάθμιση σε 40GbE ή 100GbE εναλλακτικές λύσεις.Η δυνατότητα επαναχρησιμοποίησης της υφιστάμενης υποδομής καλωδίωσης και διακόπτη SFP28 μείωσε περαιτέρω τις κεφαλαιακές δαπάνες, κάνοντας τοMCX631102AN-ADAT προς πώλησηΗ αξιολόγηση είναι μια πειστική επιχειρηματική υπόθεση για την ηγεσία του παρόχου.

Συνοπτική & Προοπτικές: Κατασκευή ενός Ιδρύματος Δικτύου Προετοιμασμένου για το Μέλλον

Η εγκατάσταση της παραγωγής τουMellanox (NVIDIA Mellanox) MCX631102AN-ADATΔείχνει μια σαφή πορεία προς τα εμπρός για οργανισμούς που επιδιώκουν να απελευθερώσουν το πλήρες δυναμικό της κατανεμημένης υποδομής τους.Με τον συνδυασμό της μεταφοράς χαμηλής καθυστέρησης RDMA/RoCE με ταχεία αποφόρτιση από υλικό, ο προσαρμογός εξαλείφει αποτελεσματικά το δίκτυο ως εμπόδιο απόδοσης, είτε για την εκπαίδευση της τεχνητής νοημοσύνης, την αποθήκευση που καθορίζεται από λογισμικό, είτε για την επεξεργασία συναλλαγών υψηλής συχνότητας.Η εμπειρία της ομάδας επιβεβαιώνει ότιMCX631102AN-ADAT κάρτα προσαρμογή Ethernetπαρέχει όχι μόνο βελτιώσεις των δεικτών αναφοράς, αλλά και απτά κέρδη στην παραγωγικότητα: οι χρόνοι ολοκλήρωσης των εργασιών κατάρτισης GPU μειώθηκαν κατά μέσο όρο κατά 34%,και ο χρόνος ανταπόκρισης των συστάσεων αποθήκευσης SLA πληρούνται σταθερά ακόμη και κατά τις περιόδους αιχμής φόρτωσης.

Το piρόγραα piροβλέpiει τηMCX631102AN-ADAT ConnectX-6 Lx διπλής θύρας 25GbE SFP28Η NVIDIA έχει ήδη αναλάβει την εκτέλεση των προγραμμάτων της για την ενσωμάτωση του προσαρμογέα με τις BlueField DPU της NVIDIA για την περαιτέρω προγραμματισμό δικτύου.Για τις μηχανικές ομάδες που αξιολογούν παρόμοιες αναβαθμίσεις, η λεπτομερήΔελτίο δεδομένων MCX631102AN-ADATΗ έκθεση αυτή παρέχει ολοκληρωμένη καθοδήγηση σχετικά με τους πίνακες συμβατότητας, τις παραμέτρους προσαρμογής επιδόσεων και τις αρχιτεκτονικές αναφοράς.Οι προσαρμογείς 25GbE που έχουν αποφορτωθεί από υλικό όπως το MCX631102AN-ADAT γίνονται γρήγορα η νέα βάση για τα σχέδια κέντρων δεδομένων που έχουν επίγνωση της απόδοσης.