Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch σε δράση ∆ιορθωτική διασύνδεση χαμηλής καθυστέρησης

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch σε δράση Ω βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA / HPC / AI Clusters

Ένα περιφερειακό κέντρο υπερυπολογισμών πρόσφατα ανέλαβε μια σημαντική αναβάθμιση στην υποδομή υπολογιστών AI,επέκταση από 64 σε 256 GPU NVIDIA A100 για την υποστήριξη μεγάλης κλίμακας εκπαίδευσης μοντέλων γλώσσας και φορτίων εργασίας γονιδιωματικής αλληλουχίαςΩστόσο, το υφιστάμενο δίκτυο 100GbE RoCEv2 έγινε ένα επίμονο μειονέκτημα ∙ συχνές καταιγίδες PFC, απρόβλεπτη καθυστέρηση ουράς,Η σύνθετη προσαρμογή ECN κατανάλωσε σημαντική μηχανική προσπάθεια και επέκτεινε τους χρόνους ολοκλήρωσης των εργασιών κατά περισσότερο από 40%Η παρούσα μελέτη περιπτώσεων εξετάζει τον τρόπο με τον οποίο το κέντρο εφάρμοσε τηνΜέλανοξ (NVIDIA Mellanox) 920-9B110-00FH-0D0Ο διακόπτης InfiniBand μεταμορφώνει τον ιστό του, παρέχοντας καθοριστική διασύνδεση χαμηλής καθυστέρησης για εφαρμογές RDMA.

Προηγούμενο & Προκλήσεις Η οροφή του Ethernet

Η αρχική αρχιτεκτονική του κέντρου χρησιμοποιούσε δύο 100GbE leaf switches με RoCEv2, συνδέοντας διακομιστές GPU και ένα παράλληλο σύστημα αρχείων.Πρώτα, οι αδιέξοδοι PFC (Priority Flow Control) εμφανίστηκαν καθημερινά, αναγκάζοντας τις χειροκίνητες επαναπροσαρμογές. Δεύτερον, όλες οι συλλογικές εργασίες μείωσης παρουσίασαν καθυστερήσεις ουράς που υπερβαίνουν τα 200 μs, επιβραδύνοντας άμεσα τη χρήση GPU.τρίτοςΗ ομάδα λειτουργίας συνειδητοποίησε ότι η Ethernet, ακόμη και με τις επεκτάσεις RDMA, δεν ήταν αρκετά αποτελεσματική.Δεν μπορούσαν να προσφέρουν την απώλεια., ο καθοριστικός ιστός που απαιτείται για τα φορτία εργασίας της επόμενης γενιάς τεχνητής νοημοσύνης.

Λύση & Εφαρμογή920-9B110-00FH-0D0 InfiniBand Switch OPNως το Νέο Σπονδυλικό Σώμα

Μετά την αξιολόγηση πολλαπλών επιλογών, το κέντρο επέλεξε τοNVIDIA Mellanox 920-9B110-00FH-0D0Εναλλακτικό, με βάση το920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRΗ ανάπτυξη χρησιμοποίησε μια τοπολογία δέντρου λίπους δύο επιπέδων: τέσσερις920-9B110-00FH-0D0οι διακόπτες ως φύλλα (καθένας συνδέει 64 κόμβους GPU μέσω συνδέσεων 200G) και δύο πρόσθετες μονάδες ως σπονδύλια, παρέχοντας πλήρες εύρος ζώνης διχασμού.,αξιοποιώντας το920-9B110-00FH-0D0 συμβατόΟι βασικές αποφάσεις ανάπτυξης περιλάμβαναν:

• Καλωδίωση:Οπτικές ενότητες HDR 200G για αποστάσεις σπονδυλικής στήλης έως 100 μέτρα, με παθητικούς DAC για ενδο-ρακ συνδέσεις.
• Διοίκηση:NVIDIA UFM (Unified Fabric Manager) για αυτοματοποιημένη ανακάλυψη τοπολογίας, προσαρμοστικές πολιτικές δρομολόγησης και τηλεμετρία σε πραγματικό χρόνο.
• Συλλογική εκφόρτωση:Το SHARPv2 επέτρεψε την επιτάχυνση των λειτουργιών all‐reduction, την αποφόρτιση της εργασίας από τις CPU host και τη μείωση της συνομιλίας στο δίκτυο.

Η ομάδα αναφέρθηκε στοΠίνακας δεδομένων 920-9B110-00FH-0D0και920-9B110-00FH-0D0 προδιαγραφέςΗ διακοπή της λειτουργίας του διακόπτη, η οποία είχε ως στόχο να επαληθεύσει τις απαιτήσεις ισχύος και ψύξης, είχε ως στόχο να διασφαλίσει ότι ο διακόπτης, με συντελεστή μορφής 1U και πυκνότητα 200G ανά θύρα, θα εντάσσεται με επιτυχία στα υπάρχοντα ράκ χωρίς πρόσθετες αλλαγές υποδομής.920-9B110-00FH-0D0 Λύση InfiniBand switch OPNεπίσης απλουστευμένες προμήθειες, με τον ακριβή αριθμό τμήματος παραγγελίας (OPN) που εξασφαλίζει τη σωστή διαμόρφωση.

Μετρούμενα αποτελέσματα και οφέλη ∆ ποσοτικοποιήσιμα κέρδη απόδοσης

Μετά από δύο εβδομάδες ανάπτυξης και επικύρωσης, το κέντρο κατέγραψε σημαντικές βελτιώσεις σε όλους τους βασικούς δείκτες απόδοσης.Ο παρακάτω πίνακας συνοψίζει τις μετρήσεις πριν και μετά από μια αντιπροσωπευτική εργασία κατάρτισης 256 GPU (προεκπαίδευση BERT-large):

Πέρα από τους αριθμούς, η ομάδα ανέφερε ότι ηNVIDIA Mellanox 920-9B110-00FH-0D0Η ενσωματωμένη τηλεμετρία που παρέχεται από την920-9B110-00FH-0D0 InfiniBand διακόπτης OPNΤο σύστημα αυτό παρέχει στο προσωπικό των επιχειρήσεων λεπτομερή ορατότητα της συμφόρησης ανά ροή και της αξιοποίησης της διαδρομής, επιτρέποντας τον προληπτικό σχεδιασμό της ικανότητας.920-9B110-00FH-0D0 τιμήΤο κέντρο έχει αποδειχθεί οικονομικά αποδοτικό σε σύγκριση με την αναβάθμιση σε 400G NDR switches, καθιστώντας το ιδανικό για τον μεσαίο προϋπολογισμό του κέντρου.

Συνοπτική & Προοπτικές ∙ Μια αποδεδειγμένη πορεία προς τη διασύνδεση χαμηλής καθυστέρησης

Η εμπειρία του κέντρου υπερυπολογισμών δείχνει ότι ηΜέλανοξ (NVIDIA Mellanox) 920-9B110-00FH-0D0προσφέρει μια ρεαλιστική, υψηλής απόδοσης εναλλακτική λύση τόσο για τα αγωνιζόμενα υφάσματα Ethernet όσο και για τις δαπανηρές λύσεις υψηλού επιπέδου.και χωρίς απώλειες RDMA μεταφορά, η αλλαγή επιτρέπει στους οργανισμούς να απελευθερώσουν το πλήρες δυναμικό των επενδύσεών τους στις GPU ∙ επιταχύνοντας τον χρόνο πρόσβασης για φορτία εργασίας AI και HPC.

Κοιτάζοντας στο μέλλον, το κέντρο σχεδιάζει να επεκτείνει το υλικό του σε 512 GPUs χρησιμοποιώντας την ίδια920-9B110-00FH-0D0 Λύση InfiniBand switch OPN, μεγέθυνση με την προσθήκη πρόσθετων διακόπτες φύλλων, διατηρώντας παράλληλα την υφιστάμενη υποδομή της σπονδυλικής στήλης.Η συμβατότητα του διακόπτη με μελλοντικούς προσαρμογείς NVIDIA (συμπεριλαμβανομένου του ConnectX‐7) εξασφαλίζει μια ομαλή πορεία αναβάθμισηςΓια τους οργανισμούς που αξιολογούν παρόμοιες αναβαθμίσεις, η920-9B110-00FH-0D0 προδιαγραφέςκαιΠίνακας δεδομένων 920-9B110-00FH-0D0Η Εpiιτροpiή piροσφέρει όλες τις αναγκαίες piαραμέτρους σχεδιασού και οι μονάδες είναι άμεσα διαθέσιμες (920-9B110-00FH-0D0 προς πώλησημέσω εξουσιοδοτημένων διαύλων).

Η εφαρμογή αυτή στον πραγματικό κόσμο επιβεβαιώνει ότι920-9B110-00FH-0D0είναι κάτι παραπάνω από ένα προϊόν, είναι ένας αποδεδειγμένος παράγοντας για χαμηλής καθυστέρησης, υψηλής απόδοσης συσσωρευτικά δίκτυα, έτοιμος να ανταποκριθεί στις απαιτήσεις της επόμενης δεκαετίας της τεχνητής νοημοσύνης και της επιστημονικής πληροφορικής.