NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Τεχνική λύση

Αυτό το τεχνικό whitepaper έχει σχεδιαστεί για τους αρχιτέκτονες δικτύων, τους μηχανικούς προ πωλήσεων και τους επικεφαλής των επιχειρήσεων.MQM9790-NS2F∆εύτερον, η Επιτροπή θα πρέπει να λάβει υπόψη την ανάγκη να βελτιωθεί η αποτελεσματικότητα των ενεργειών που λαμβάνονται για την επίτευξη των στόχων που έχουν αναφερθεί.ειδικά για τη βελτιστοποίηση διασύνδεσης RDMA/HPC/AI ομάδας χαμηλής καθυστέρησης.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Η σύγχρονη εκπαίδευση AI και τα φορτία εργασίας HPC οδηγούν τα clusters από χιλιάδες σε δεκάδες χιλιάδες GPU.Τα παραδοσιακά υφάσματα Ethernet αγωνίζονται με την καθυστέρηση ουράς και το CPU overheadΟι βασικές απαιτήσεις περιλαμβάνουν καθυστέρηση μετάδοσης υπομικροδευτερολέπτου, μεταφορά πλήρους ταχύτητας γραμμής χωρίς απώλεια πακέτων,αποτελεσματική υποστήριξη RDMA, και απρόσκοπτη κλιμακωτότητα σε εκατοντάδες διακόπτες.NVIDIA Mellanox MQM9790-NS2Fανταποκρίνεται άμεσα στις ανάγκες αυτές με την ικανότητα NDR 400Gb/s και τις προηγμένες δυνατότητες υπολογιστών στο δίκτυο.

2Συνολικό σχεδιασμό δικτύου και αρχιτεκτονικής συστήματος

Η συνιστώμενη αρχιτεκτονική υιοθετεί μια τοπολογία δύο στρωμάτων Fat-Tree (γνωστή και ως διπλωμένο Clos), η οποία εξισορροπεί το εύρος ζώνης διχοτόμησης, το κόστος και την επεκτασιμότητα.Διακομιστές GPU εξοπλισμένοι με προσαρμογείς NDR ConnectX-7 συνδέονται με διακόπτες φύλλωνΣτο στρώμα της σπονδυλικής στήλης,MQM9790-NS2F Διακόπτης InfiniBandΗ σχεδίαση αυτή εξασφαλίζει πλήρες εύρος ζώνης διχασμού: κάθε διακόπτης φύλλου μπορεί να επικοινωνεί με οποιοδήποτε άλλο φύλλο με ταχύτητα καλωδίου.μπορεί να αναπτυχθεί μια τριεπίπεδη τοπολογία (φυλλική σπονδυλική στήλη-υπερ-σπονδυλική στήλη), υποστηρίζοντας μέχρι δεκάδες χιλιάδες κόμβους GPU.

• Συμπλέκτες φύλλων:Μοντέλα OSFP 64 θύρων, το καθένα συνδέεται με 32 διακομιστές (διπλή θύρα) συν αναβαθμίσεις σε σπονδύλια.
• Σπονδυλική στήλη: MQM9790-NS2F 400Gb/s NDR 64-port OSFPΈνα πλήρως μη αποκλειστικό σχέδιο απαιτεί πόρτες σπονδυλικής στήλης ίσες στον αριθμό των διακόπτες φύλλου.
• Διαχείριση υποδίκτυου:Ένας αφιερωμένος ή περιττός διαχειριστής υποδίκτυου χειρίζεται τον υπολογισμό διαδρομής, την προσαρμοστική δρομολόγηση και την μετάβαση αποτυχίας.

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MQM9790-NS2F στην λύση

Ως πυρήνας σπονδυλικής στήλης και προαιρετικά συσκευή φύλλου, ηMQM9790-NS2Fπαρέχει αρκετές κρίσιμες δυνατότητες:

• Δυναμικότητα 400Gb/s NDR:Κάθε μία από τις 64 θύρες OSFP λειτουργεί σε πλήρη διπλή 400Gb / s, παρέχοντας συνολική χωρητικότητα εναλλαγής 51.2Tb / s.
• Υπερ-χαμηλή καθυστέρηση και προσαρμοστική δρομολόγηση:Η διακοπή διακοπής διατηρεί την καθυστέρηση από λιμάνι σε λιμάνι κάτω από 130ns.
• Υπολογιστική στο δίκτυο (SHARPv3):Υποστηρίζει την κλιμακώσιμη ιεραρχική συγκέντρωση και μείωση, αποφορτώνοντας συλλογικές λειτουργίες από την CPU / GPU και μειώνοντας την κίνηση δεδομένων έως και 10 φορές.
• Εμφυλικό σχέδιο RDMA:Το RDMA με επιτάχυνση υλικού επιτρέπει την άμεση πρόσβαση στη μνήμη GPU, εξαλείφοντας τη συμμετοχή της CPU και μειώνοντας δραματικά το κόστος επικοινωνίας.
• Πλήρης τηλεμετρία και ποιότητα εξυπηρέτησηςΟ λεπτός έλεγχος της συμφόρησης, η παρακολούθηση του αποθέτησης και η ταξινόμηση ροής εξασφαλίζουν καθοριστική απόδοση για μικτά φορτία εργασίας.

Σύμφωνα με τηνΔελτίο δεδομένων MQM9790-NS2F, ο διακόπτης υποστηρίζει επίσης τροφοδοσίες και ανεμιστήρες θερμής εναλλαγής, περιττές θύρες διαχείρισης και πλήρη δέσμη διαγνωστικών, καθιστώντας τον κατάλληλο για περιβάλλοντα παραγωγής 7 × 24.

4Συστάσεις ανάπτυξης και κλιμάκωσης (με τυπική τοπολογία)

Ένα τυπικό cluster 2.048-GPU μπορεί να κατασκευαστεί χρησιμοποιώντας 64 διακόπτες φύλλου και 32 διακόπτες σπονδυλικής στήλης.Συμβατό με το MQM9790-NS2FΓια επέκταση σε 8.192 GPUs, προστίθεται ένα στρώμα super-spine, που συνδέει πολλαπλά pods.

Προκειμένου να κάνετε την κλίμακα, σκεφτείτε τα εξής:

• Καλωδίωση και οπτική:Χρησιμοποιήστε OSFP-OSFP DAC για σύντομες συνδέσεις εντός των ράκ και καλώδια διακοπής OSFP-to-4xOSFP ή οπτικές ενότητες για μεγαλύτερες αποστάσεις.Προδιαγραφές MQM9790-NS2Fσχετικά με την εμβέλεια και τον προϋπολογισμό ενέργειας.
• Μέγεθος υποδίκτυου:Ένας διαχειριστής υποδίκτυου μπορεί να χειριστεί έως και 2.000 κόμβους. Πέρα από αυτό, αναπτύξτε πολλαπλά υποδίκτυα ή χρησιμοποιήστε ένα σχεδιασμό διανεμημένου διαχειριστή υποδίκτυου.
• Απολύσεις:Οι διπλές συσκευές διακομιστών και οι περιττοί σύνδεσμοι σπονδυλικής στήλης εξαλείφουν τα μεμονωμένα σημεία βλάβης.MQM9790-NS2F Λύση διακόπτη InfiniBandΥποστηρίζει την απρόσκοπτη μετατόπιση με τη σωστή διαμόρφωση SM.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Οι αποτελεσματικές λειτουργίες απαιτούν ορατότητα και αυτοματοποίηση.

• Παρακολούθηση:Χρησιμοποιήστε το Fabric Manager και τα τηλεμετρικά API της NVIDIA για την παρακολούθηση των σφαλμάτων λιμένων, της θερμοκρασίας, της κατανάλωσης ενέργειας και της χρησιμοποίησης συνδέσμου.
• Επεξεργασία προβλημάτων:ΗMQM9790-NS2FΣε περίπτωση υποβάθμισης της απόδοσης, ελέγξτε την προσαρμοστική διαδρομή, βεβαιωθείτε ότι όλοι οι σύνδεσμοι υλικού είναι συμμετρικοί,και να επαληθεύσει ότι η συγκέντρωση SHARP είναι ενεργοποιημένη για τις υποστηριζόμενες ομάδες.
• Βελτιστοποίηση:Για μεγάλα μοντέλα τεχνητής νοημοσύνης, ενεργοποιήστε τον έλεγχο συμφόρησης και ορίστε όρια αποθήκευσης για την αποφυγή αδιέξοδων PFC.Επανεξετάστε τακτικά τηνΑξία MQM9790-NS2FΗ αναβάθμιση των σπονδυλικών σπονδυλίων συχνά αποφέρει καλύτερη απόδοση από την προσθήκη περισσότερων φύλλων.

Για οργανισμούς αξιολόγησηςMQM9790-NS2F προς πώληση, βεβαιωθείτε ότι η στοίβα λογισμικού σας (π.χ. NCCL, OpenMPI) υποστηρίζει χαρακτηριστικά NDR όπως SHARPv3 και μείωση βασισμένη σε υλικό.

6Συνοπτική & Αξιολόγηση

ΗMQM9790-NS2F Λύση διακόπτη InfiniBandπροσφέρει ένα σαφές μονοπάτι για την κατασκευή υλικών χαμηλής καθυστέρησης, υψηλού εύρους ζώνης για απαιτητικά clusters RDMA/HPC/AI.Οι δυνατότητες υπολογιστών στο δίκτυο αντιμετωπίζουν άμεσα τις προκλήσεις κλιμακώσιμης ικανότητας και απόδοσης των σύγχρονων φορτίων εργασίας.. Με την υιοθέτηση της αρχιτεκτονικής που περιγράφεται παραπάνω, η τοπολογία Fat-Tree, οι κεντρικοί διακόπτες NDR και η εγγενής λειτουργία RDMA, οι οργανισμοί μπορούν να επιτύχουν γραμμική κλιμακωτότητα GPU, να μειώσουν τους χρόνους ολοκλήρωσης εργασίας κατά περισσότερο από 30%,Για λεπτομερή σχεδιασμό, ανατρέξτε στο επίσημοΔελτίο δεδομένων MQM9790-NS2FΓια να συζητήσετε ένα προσαρμοσμένο σχέδιο ή να αποκτήσετεΑξία MQM9790-NS2Fκαι διαθεσιμότητα, επικοινωνήστε με έναν εξουσιοδοτημένο συνεργάτη της NVIDIA.