NVIDIA Mellanox 920-9B110-00FH-0D0 στην πράξη: Βελτιστοποίηση υφασμάτων RDMA χαμηλής καθυστέρησης για HPC και AI Clusters

NVIDIA Mellanox 920-9B110-00FH-0D0 στην πράξη: Βελτιστοποίηση υφασμάτων RDMA χαμηλής καθυστέρησης για HPC και AI Clusters

Προηγούμενο & Η πρόκληση: Όταν η απόδοση HDR συναντά την πραγματικότητα του προϋπολογισμού

Ένα μεσαίου μεγέθους ερευνητικό εργαστήριο τεχνητής νοημοσύνης αντιμετώπισε πρόσφατα μια γνωστή πρόκληση: το υφιστάμενο υλικό EDR InfiniBand 100Gb / s τους γινόταν ένα μπουκάλιο για το επεκτεινόμενο σύμπλεγμα GPU τους,που είχε αυξηθεί από 128 σε 512 κόμβους NVIDIA A100Οι χρόνοι κατάρτισης για τα μοντέλα μετασχηματιστών μεγάλης κλίμακας αυξήθηκαν κατά περισσότερο από 40% λόγω της συμφόρησης του δικτύου κατά τη διάρκεια των λειτουργιών μείωσης των τιμών.και η ομάδα χρειαζόταν μια αναβάθμιση που θα μπορούσε να προσφέρει σημαντικά κέρδη απόδοσης χωρίς τις κεφαλαιακές δαπάνες που απαιτούνται για μια πλήρη ανάπτυξη NDR 400Gb / s.

Το εργαστήριο αξιολόγησε διάφορες επιλογές και εντόπισε το HDR 200Gb/s ως την ιδανική ισορροπία απόδοσης και κόστους.προηγμένο έλεγχο συμφόρησης, και την απρόσκοπτη ενσωμάτωση με τα υφιστάμενα καλώδια και τους δέκτες που είναι συμβατοί με το HDR.NVIDIA Mellanox 920-9B110-00FH-0D0Το HDR είναι ένα διακόπτη ειδικά κατασκευασμένο για περιβάλλοντα όπου το HDR παρέχει άφθονο εύρος ζώνης χωρίς υπερπροσφορά.

Λύση & Εφαρμογή: Ένα κόστος βελτιστοποιημένο υλικό HDR

Το εργαστήριο χρησιμοποίησε το920-9B110-00FH-0D0 InfiniBand διακόπτης OPNΚάθε ράκ υπολογιστών έλαβε έναν διακόπτη βασισμένο σε MQM8790-HS2F, την πλατφόρμα πυριτίου που αποτελεί τη βάση του υπολογιστή.920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR∆ιαθέτει 40 θύρες συνδεσιμότητας 200Gb/s στους διακομιστές GPU μέσω καλωδίων άμεσης σύνδεσης OSFP-OSFP.δημιουργία μη αποκλειστικού υλικού λιπαρού δέντρου με πλήρες εύρος ζώνης διχασμού.

Αυτό που έκανε αυτή την ανάπτυξη ιδιαίτερα αποτελεσματική ήταν η ενσωματωμένη τεχνολογία SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol),που εκφόρτωσε τις εργασίες συλλογικής επικοινωνίας απευθείας στο υλικό του διακόπτηΣτην πράξη, αυτό σήμαινε ότι όλες οι λειτουργίες μείωσης, οι οποίες προηγουμένως κατανάλωναν σημαντικούς κύκλους CPU host και εύρος ζώνης δικτύου,Οι εργασίες ολοκληρώθηκαν τώρα σε ένα μόνο πέρασμα σε όλο το υλικό, μειώνοντας δραματικά τους χρόνους ολοκλήρωσης των εργασιών..

Σύμφωνα με τηνΠίνακας δεδομένων 920-9B110-00FH-0D0Η διακόπτρια παρέχει υπο-200ns καθυστέρηση διακοπής, η οποία ευθυγραμμίζεται στενά με τις απαιτήσεις απόδοσης του εργαστηρίου.920-9B110-00FH-0D0 συμβατόΤο σύστημα περιελάμβανε όλους τους τύπους καλωδίων και τις οπτικές που είχαν ήδη τυποποιηθεί, εξαλείφοντας την ανάγκη δαπανηρής προσπάθειας επανακαλωδιώσεως.

Αποτελέσματα και μετρήσιμα κέρδη: Από το "φραγμό" στο "ενισχυτικό"

Μετά την ανάπτυξη, το εργαστήριο μέτρησε βελτιώσεις σε διάφορες κρίσιμες διαστάσεις:

• Μείωση του χρόνου ολοκλήρωσης εργασίας:Οι επαναλήψεις εκπαίδευσης για ένα μοντέλο 13B-παραμέτρων μειώθηκαν κατά 35%, με την καθυστέρηση μείωσης όλων να μειώνεται από 12μs σε λιγότερο από 5μs για τυπικά συλλογικά μεγέθη.
• Χρήση δικτύου:Η μέση αξιοποίηση του υφάσματος αυξήθηκε από 58% σε 83% χωρίς να προκαλέσει συμφόρηση, χάρη στους προσαρμοστικούς μηχανισμούς καθοδήγησης και ελέγχου συμφόρησης του διακόπτη.
• Απόδοση ισχύος και ψύξης:Σε σύγκριση με το προηγούμενο υλικό EDR, η νέα υποδομή HDR μείωσε την κατανάλωση ενέργειας ανά θύρα κατά 30%, επιτρέποντας στο εργαστήριο να προσθέσει περισσότερους κόμβους υπολογισμού χωρίς να υπερβαίνει τον προϋπολογισμό ισχύος του κέντρου δεδομένων.

Από την άποψη του συνολικού κόστους ιδιοκτησίας, το920-9B110-00FH-0D0 τιμήΤο εpiιχειρηατικό piροϊόν piου piροβλέpiεται για την piροώθηση του εpiιχειρηατικού εpiιχειρήατο piορεί να piροσφέρει εpiιχειρηατική piροώθηση σε piερισσότερους τοεί του εpiιχειρήατο.920-9B110-00FH-0D0 προδιαγραφέςΕπίσης, τονίσθηκε η διπλή εφεδρική παροχή ενέργειας του διακόπτη και θερμό-αντικατάστατες μονάδες ανεμιστήρων, οι οποίες συνέβαλαν στον στόχο του εργαστηρίου της διαθεσιμότητας 99,999% για τις εργασίες εκπαίδευσης παραγωγής.

Οι μηχανικοί δικτύων σημείωσαν ότι η920-9B110-00FH-0D0 Λύση InfiniBand switch OPNενσωματώθηκε απρόσκοπτα με το Unified Fabric Manager (UFM) της NVIDIA, παρέχοντας κεντρική ορατότητα στην υγεία του υφάσματος και την αυτοματοποιημένη ειδοποίηση.Αυτό μείωσε σημαντικά το χρόνο που δαπανάται για την αντιμετώπιση προβλημάτων και την προληπτική συντήρηση, απελευθερώνοντας την ομάδα για να επικεντρωθεί στην βελτιστοποίηση των αγωγών εκπαίδευσης τους αντί να διαχειρίζεται το δίκτυο.

Σύνοψη & Προοπτικές: Το σωστό μέγεθος HDR Foundation

ΗNVIDIA Mellanox 920-9B110-00FH-0D0Αποδείχθηκε η σωστή επιλογή για αυτό το ερευνητικό εργαστήριο, παρέχοντας την απόδοση των 200Gb/s HDR σε μια δομή κόστους που είχε νόημα για την επιχείρηση.δυνατότητες υπολογιστών στο δίκτυο, και ισχυρά χαρακτηριστικά διαχείρισης, το εργαστήριο μεταμόρφωσε το δίκτυό τους από ένα εμπόδιο απόδοσης σε ένα κλιμακώσιμο θεμέλιο για μελλοντική ανάπτυξη.

Με την υποστήριξη του 920-9B110-00FH-0D0 για μεγαλύτερες τοπολογίες μέσω πολλαπλών επιπέδων σπονδυλικής στήλης,Έχουν εμπιστοσύνη ότι το δίκτυό τους μπορεί να αναπτυχθεί παράλληλα με την ικανότητα υπολογιστών τουςΓια τους οργανισμούς που αξιολογούν τις επιλογές υποδομής HDR τους, η920-9B110-00FH-0D0 προς πώλησημέσω των συνεργατών του καναλιού της NVIDIA προσφέρει μια συναρπαστική, επαληθευμένη λύση παραγωγής που εξισορροπεί την απόδοση, την πυκνότητα και το κόστος.