Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch στην πράξη

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch στην πράξη.

Προηγούμενο & Προκλήσεις: Όταν η κλίμακα των ομάδων συναντά προβλήματα διασύνδεσης

Το τμήμα έρευνας τεχνητής νοημοσύνης μιας κορυφαίας εταιρείας διαδικτύου βρέθηκε σε ένα γνωστό σταυροδρόμι.Ο αυξανόμενος στόλος τους από διακομιστές GPU, που εκτείνονται σε πολλαπλά ράκ και χρησιμοποιούνται όλο και περισσότερο για την εκπαίδευση μεγάλων γλωσσικών μοντέλων, υπέφερε από απρόβλεπτους χρόνους ολοκλήρωσης εργασίας.Η υφιστάμενη δομή που βασίζεται στο Ethernet, αν και επαρκής για φόρτους εργασίας γενικής χρήσης, δεν μπορούσε να χειριστεί τα συγχρονισμένα, ταραγμένα μοτίβα κυκλοφορίας της κατανεμημένης κατάρτισης.Όλες οι λειτουργίες μειώνονται τακτικά λόγω των πτώσεων πακέτων και της συμφόρησης.Η ομάδα υποδομών χρειαζόταν μια θεμελιώδη αλλαγή στον τρόπο που το δίκτυο backend τους χειριζόταν την κίνηση RDMA,Και το χρειάζονταν χωρίς να αναθεωρήσουν ολόκληρη την αρχιτεκτονική του κέντρου δεδομένων..

Σχεδιασμός λύσης: Εφαρμογή του 920-9B210-00FN-0D0 InfiniBand Switch OPN

Μετά την αξιολόγηση πολλαπλών επιλογών διασύνδεσης, η ομάδα επέλεξε τοΜέλανοξ (NVIDIA Mellanox) 920-9B210-00FN-0D0Η ανάπτυξη επικεντρώθηκε γύρω από μια δι-επίπεδη τοπολογία φύλλου-αστέρας, με κάθε διακόπτη φύλλου να συνδέει έως και 40 κόμβους GPU μέσω συνδέσεων 400Gb / s.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΗ παραλλαγή αυτή επιλέχθηκε ειδικά για την μη αποκλειστική αρχιτεκτονική της και τις ενσωματωμένες δυνατότητες υπολογιστών στο δίκτυο SHARPv3.Αυτό επέτρεψε στην ομάδα να εκφορτώσει τις συλλογικές επικοινωνίες απευθείας στο υλικό του διακόπτη., μειώνοντας το CPU overhead και απελευθερώνοντας κύκλους GPU για πραγματικούς υπολογισμούς.

Όσον αφορά τη φυσική ανάπτυξη, οι διακόπτες εγκαταστάθηκαν με ροή αέρα από μπροστά προς πίσω για να ταιριάζουν με την υπάρχουσα διαμόρφωση θερμού διαδρόμου / ψυχρού διαδρόμου.Πίνακας δεδομένων 920-9B210-00FN-0D0Η καλωδίωση διατηρήθηκε σταθερή χρησιμοποιώντας QSFP-DD δέκτες, με την920-9B210-00FN-0D0 συμβατόΟδηγία 2008/57/ΕΚ του Ευρωπαϊκού Κοινοβουλίου και του Συμβουλίου, της 20ής Δεκεμβρίου 2008, για τη θέσπιση ειδικών κανόνων για την προστασία των καταναλωτών από την τρομοκρατία (ΕΕ L 347 της 20.12.2008, σ. 1).

Μέθοδος εγκατάστασης: Σταδιακή ολοκλήρωση

• Φάση 1 ∆εβαίωση εργαστηρίου:Για την αξιολόγηση της καθυστέρησης και της απόδοσης, χρησιμοποιήθηκε ένα μικρό τεστ με 8 κόμβους GPU και δύο διακόπτες.NVIDIA Mellanox 920-9B210-00FN-0D0Δείχνει υπο-600ns καθυστέρηση διακόπτη, μια βελτίωση 60% σε σχέση με την προηγούμενη γενιά HDR.
• Φάση 2 ∆ιασταθμισμένη εφαρμογή:Η ομάδα μετανάστευσε ένα κουτί εκπαίδευσης κάθε φορά, χρησιμοποιώντας τον Unified Fabric Manager της NVIDIA για την παρακολούθηση της υγείας και της συμφόρησης των συνδέσμων σε πραγματικό χρόνο.Αυτό ελαχιστοποίησε τη διαταραχή των συνεχιζόμενων φόρτων εργασίας παραγωγής.
• Φάση 3 ∆ ολοκληρωμένη ολοκλήρωση:Όλοι οι 18 διακόπτες αναπτύχθηκαν σε τρία ράκ, σχηματίζοντας μια πλήρως μη αποκλειστική σπονδυλική στήλη με 400Gb / s uplinks.Η προσαρμοστική δρομολόγηση επέτρεψε τη δυναμική εξισορρόπηση της κυκλοφορίας και την αποφυγή της υπεργραφής κατά τη διάρκεια των υψηλών προσφορών θέσεων εργασίας.

Κατά τη διάρκεια της ανάπτυξης, η ομάδα μηχανικών αναφέρθηκε στην ολοκληρωμένη920-9B210-00FN-0D0 προδιαγραφέςΗ προηγμένη τηλεμετρία του διακόπτη παρείχε λεπτομερή ορατότητα στον αριθμό σφαλμάτων ανά θύρα και τη χρήση σύνδεσης,η δυνατότητα προληπτικής συντήρησης και σχεδιασμού της ικανότητας.

Μετρήσιμα αποτελέσματα και λειτουργικά οφέλη

Μέσα σε δύο εβδομάδες από την πλήρη ανάπτυξη, οι βελτιώσεις ήταν απτές.που αντιπροσωπεύει μείωση κατά 37% των γενικών δαπανών επικοινωνίαςΟ χρόνος ολοκλήρωσης εργασίας για ένα τυπικό μοντέλο τύπου GPT βελτιώθηκε κατά σχεδόν 30%, επιτρέποντας στην ερευνητική ομάδα να επαναλαμβάνει ταχύτερα και να εκτελεί περισσότερα πειράματα την εβδομάδα.Η ενσωματωμένη μηχανή SHARPv3 κατέβαλε κατά μέσο όρο το 18% των συλλογικών λειτουργιών, το οποίο μεταφράζεται άμεσα σε υψηλότερη χρησιμοποίηση GPU και χαμηλότερη κατανάλωση ενέργειας ανά εκπαιδευτική πορεία.

Από επιχειρησιακή άποψη, η ομάδα πληροφορικής ανέφερε λιγότερες αποτυχίες εργασίας που σχετίζονται με το δίκτυο και σημαντικά λιγότερο χρόνο που δαπανήθηκε για τη διάγνωση προβλημάτων σε επίπεδο σύνδεσης.920-9B210-00FN-0D0 Λύση InfiniBand switch OPNΗ ενιαία διεπαφή διαχείρισης μείωσε την καμπύλη μάθησης για την ομάδα λειτουργίας δικτύου,που θα μπορούσε τώρα να διαχειριστεί ολόκληρο το ύφασμα μέσα από ένα μόνο γυάλινο πάνελ.

Σχέσεις κόστους και προμηθειών

Ενώ η αρχική920-9B210-00FN-0D0 τιμήΗ ανάλυση του συνολικού κόστους ιδιοκτησίας είπε μια διαφορετική ιστορία.Η οργάνωση πέτυχε μείωση 22% των δαπανών για το cloud για ισοδύναμη υπολογιστική ικανότηταΕπιπλέον, η920-9B210-00FN-0D0 προς πώλησηΗ NVIDIA Mellanox, μέσω πολλών συνεργατών, επέτρεψε την υποβολή ανταγωνιστικών προσφορών και η μακροπρόθεσμη δέσμευση υποστήριξης από την NVIDIA Mellanox έδωσε εμπιστοσύνη στην επένδυση.

Συνοπτική & Προοπτικές: Ένα σχέδιο για την επόμενη γενιά υποδομών AI

Η ανάπτυξη τηςΜέλανοξ (NVIDIA Mellanox) 920-9B210-00FN-0D0Η συνδυασμός των ταχυτήτων NDR 400Gb/s,υπομικροδευτερόλεπτο καθυστέρησηΟι αρχιτέκτονες δικτύων θα εκτιμήσουν την ευελιξία της920-9B210-00FN-0D0 InfiniBand διακόπτης OPNΗ τεχνολογία της πληροφορικής έχει αναπτυχθεί σε διάφορες τοπολογίες, ενώ οι διαχειριστές πληροφορικής μπορούν να βασίζονται στα ισχυρά εργαλεία διαχείρισης και στην ολοκληρωμένηΠίνακας δεδομένων 920-9B210-00FN-0D0για τον προγραμματισμό της ικανότητας.

Κοιτάζοντας στο μέλλον, η οργάνωση σχεδιάζει ήδη να επεκτείνει το υλικό για να υποστηρίξει μεγαλύτερα γκρουπ GPU,συμπεριλαμβανομένης της ενσωμάτωσης των DPU BlueField-3 για πρόσθετη αποθήκευση και απομόνωση ασφαλείας. το920-9B210-00FN-0D0 συμβατόΤο οικοσύστημα διασφαλίζει ότι οι μελλοντικές αναβαθμίσεις, είτε σε νεότερα NIC είτε σε οπτικές τεχνολογίες, θα υποστηρίζονται απρόσκοπτα.Αυτή η αλλαγή αντιπροσωπεύει όχι μόνο μια σταδιακή αναβάθμιση, αλλά ένα θεμελιώδες εργαλείο για την απόδοση σε μεγάλη κλίμακα..