NVIDIA Mellanox MQM8790-HS2F Τεχνική λύση InfiniBand Switch

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Τεχνική λύση.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Καθώς οι συστάδες κατάρτισης τεχνητής νοημοσύνης (AI) κλιμακώνονται σε χιλιάδες GPU και συστήματα υψηλής απόδοσης υπολογιστών (HPC) ωθούν προς την απόδοση exascale,Το δίκτυο που συνδέει τους κόμβους υπολογισμού έχει γίνει κρίσιμος καθοριστικός παράγοντας απόδοσηςΣε αυτά τα περιβάλλοντα, η καθυστέρηση δεν είναι απλώς μια μέτρηση, αλλά επηρεάζει άμεσα τις επιδόσεις των εφαρμογών, το χρόνο λύσης και τη συνολική αποτελεσματικότητα του cluster.Για φορτία εργασίας που βασίζονται σε μεγάλο βαθμό στις συλλογικές λειτουργίες MPI (Message Passing Interface) και τα πρότυπα επικοινωνίας "όλα προς όλα", όπως η κατάρτιση μεγάλων γλωσσικών μοντέλων, υπολογιστική δυναμική ρευστότητας και προσομοιώσεις κβαντικής χημείας, ακόμη και αυξήσεις καθυστέρησης σε επίπεδο μικροδευτερολέπτου μπορούν να μεταφραστούν σε ώρες επιπλέον χρόνου εκτέλεσης.ακόμη και με RDMA μέσω Converged Ethernet (RoCE), συχνά δυσκολεύονται να προσφέρουν την καθοριστική χαμηλή καθυστέρηση και την λειτουργία χωρίς συμφόρηση που απαιτούνται από αυτές τις απαιτητικές εφαρμογές.

Πρώτον, η αυξανόμενη κλίμακα των μοντέλων τεχνητής νοημοσύνης (που πλέον υπερβαίνουν τρισεκατομμύρια παραμέτρους) απαιτεί τεράστιο παράλληλο σε χιλιάδες GPU,που απαιτεί ένα ύφασμα που μπορεί να διατηρήσει υψηλή απόδοση με ελάχιστη διακύμανση καθυστέρησηςΔεύτερον, η σύγκλιση των φόρτων εργασίας HPC και AI σημαίνει ότι ένα ενιαίο υλικό πρέπει να υποστηρίζει αποτελεσματικά τόσο τα πρότυπα επικοινωνίας που βασίζονται σε MPI όσο και τις συλλογικές λειτουργίες GPU που βασίζονται σε NCCL.Η λειτουργική αποτελεσματικότητα απαιτεί να είναι ελεγχόμενο το ύφασμα σε κλίμακα, με ολοκληρωμένες δυνατότητες παρακολούθησης και αυτοματοποιημένης βελτιστοποίησης.Απαιτείται μια δομημένη τεχνική λύση, η οποία θα αξιοποιεί έναν υψηλής απόδοσης διακόπτη InfiniBand με χαμηλή καθυστέρηση, προηγμένη διαχείριση συμφόρησης και επιτάχυνση υπολογιστών στο δίκτυο για την παροχή προβλέψιμης απόδοσης σε κλίμακα.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου / συστήματος

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία σπονδυλικής στήλης χρησιμοποιώνταςNVIDIA Mellanox MQM8790-HS2Fδιακόπτες ως το επίπεδο φύλλου, που συνδέονται με διακόπτες σπονδυλικής στήλης υψηλότερης πυκνότητας θύρας (όπως η σειρά QM9700 με 64 θύρες 400Gb/s NDR) για υφάσματα μεγάλης κλίμακας.Η αρχιτεκτονική έχει σχεδιαστεί για να υποστηρίζει μη αποκλειστική επικοινωνία με πλήρες εύρος ζώνης διχασμού, διασφαλίζοντας ότι κάθε κόμβος υπολογισμού μπορεί να επικοινωνεί με κάθε άλλο κόμβο με ταχύτητα καλωδίου χωρίς διαμάχη.

Σε μια τυπική ανάπτυξη για ένα cluster 2.000 κόμβων, η αρχιτεκτονική περιλαμβάνει:

• Τμήμα φύλλων:20MQM8790-HS2F Διακόπτης InfiniBandμονάδες, η καθεμία με 40 θύρες QSFP56 που λειτουργούν με HDR 200Gb/s.Κάθε διακόπτης φύλλου συνδέεται με 50 κόμβους υπολογισμού (χρησιμοποιώντας ένα μείγμα απευθείας συνδέσεων 200Gb / s και διακοπής HDR100 100Gb / s μέσω καλωδίων QSFP56 σε 2 × QSFP56).
• Σπονδυλική στήλη:4 διακόπτες QM9700 (ή ισοδύναμοι διακόπτες υψηλής πυκνότητας), ο καθένας με 64 θύρες 400Gb/s NDR, που παρέχουν διαφυλλική συνδεσιμότητα.
• Λογιστικοί κόμβοι:Κάθε κόμβος είναι εξοπλισμένος με έναν ή περισσότερους προσαρμογείς NDR ConnectX-6 HDR ή ConnectX-7, συνδεδεμένοι με διακόπτες φύλλου μέσω παθητικών χαλκού ή ενεργών οπτικών καλωδίων.
• Δίκτυο διαχείρισης:Ένα ξεχωριστό δίκτυο Ethernet εκτός ζώνης για τη διαχείριση διακόπτη, ενσωματωμένο με την πλατφόρμα NVIDIA Unified Fabric Manager (UFM) για κεντρική παρακολούθηση και βελτιστοποίηση υφασμάτων.

Η αρχιτεκτονική αξιοποιείMQM8790-HS2F 200Gb/s HDR 40 θύρας QSFP56Η χρήση του HDR100 breakout επιτρέπει ευέλικτες επιλογές συνδεσιμότητας:κάθε θύρα 200Gb/s μπορεί να υποστηρίζει είτε ένα μόνο τελικό σημείο 200Gb/s είτε δύο τελικά σημεία 100Gb/s, που φιλοξενεί ετερογενείς κόμβους υπολογισμού με διαφορετικές ταχύτητες διεπαφής.

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MQM8790-HS2F στην λύση

Μέσα σε αυτή την αρχιτεκτονική, ηMQM8790-HS2Fχρησιμεύει ως θεμελιώδης διακόπτης, παρέχοντας χαμηλής καθυστέρησης, υψηλού εύρους ζώνης συνδεσιμότητα στους κόμβους υπολογιστών, υποστηρίζοντας ταυτόχρονα προηγμένα χαρακτηριστικά που είναι απαραίτητα για τα φορτία εργασίας HPC και AI.Τα βασικά τεχνικά χαρακτηριστικά του είναι κρίσιμα για την επιτυχία της συνολικής λύσης:

• Υπο-100 νανοδευτερόλεπτο καθυστέρηση από θύρα σε θύρα:Παρέχει καθοριστική χαμηλή καθυστέρηση απαραίτητη για συλλογικές MPI ευαίσθητες στην καθυστέρηση και λειτουργίες μείωσης όλων.
• 40 θύρες HDR InfiniBand 200Gb/s:Παρέχει συνολική χωρητικότητα εναλλαγής 8Tb / s σε ένα συμπαγές συντελεστή μορφής 1U, μεγιστοποιώντας την πυκνότητα των θύρων και μειώνοντας την κατανάλωση χώρου ράκα.
• Υποστήριξη SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Επιτρέπει την επιτάχυνση υπολογισμών στο δίκτυο για συλλογικές λειτουργίες MPI, αποφορτώνοντας έως και 20% του φόρτου εργασίας επικοινωνίας από την CPU / GPU.
• Προσαρμοστική διαδρομή:Διανέμει δυναμικά την κυκλοφορία σε διαθέσιμες διαδρομές υλικών με βάση μετρήσεις συμφόρησης σε πραγματικό χρόνο, βελτιστοποιώντας την απόδοση και ελαχιστοποιώντας τη διακύμανση καθυστέρησης.
• Ελέγχος συμφόρησης:Εφαρμόζει προηγμένους μηχανισμούς διαχείρισης συμφόρησης (συμπεριλαμβανομένου του ελέγχου ροής σε επίπεδο πακέτου και της κοινοποίησης συμφόρησης) για την αποτροπή της υποβάθμισης των επιδόσεων των σημείων πρόσβασης στο δίκτυο.
• Υποστήριξη εξόδου HDR100:Επιτρέπει κάθε θύρα 200Gb/s να ρυθμίζεται ως δύο ανεξάρτητες θύρες 100Gb/s, παρέχοντας ευελιξία ανάπτυξης για περιβάλλοντα μικτής ταχύτητας.
• Συνολικές διεπαφές διαχείρισης:Υποστηρίζει τη διαχείριση υποδίκτυων (SM), SNMP, CLI, Web UI και την ολοκλήρωση με UFM για κεντρική διαχείριση υλικών.
• Ενεργειακή απόδοση:Τυπική κατανάλωση ισχύος κάτω των 230 W, συμβάλλοντας σε χαμηλότερες απαιτήσεις ψύξης και βελτιωμένη PUE.

Τα χαρακτηριστικά αυτά τεκμηριώνονται πλήρως στοΔελτίο δεδομένων MQM8790-HS2F, η οποία περιλαμβάνει λεπτομερείς καμπύλες απόδοσης, θερμικές προδιαγραφές και μηχανικά σχέδια για ενσωμάτωση σε εργαλεία διάταξης ράφων.

4Συστάσεις ανάπτυξης και κλιμάκωσης (με χαρακτηριστική περιγραφή τοπολογίας)

Για την αρχική ανάπτυξη, προτείνουμε μια στρατηγική αναπτύξεως με βάση την αρχιτεκτονική επιπέδου δοχείου.Υποστήριξη περίπου 400 κόμβων υπολογισμού με πλήρες εύρος ζώνης διχασμού. τοMQM8790-HS2F Λύση διακόπτη InfiniBandΕπιτρέπει την πρόσθετη κλίμακα προσθέτοντας pods καθώς η ικανότητα υπολογισμού αυξάνεται, με το επίπεδο της σπονδυλικής στήλης να παρέχει συνδεσιμότητα μεταξύ των pods για έναν ενοποιημένο ιστό.

Τυπική τοπολογία για μία μονάδα (400 κόμβοι υπολογισμού):

• Εναλλακτικά φύλλων:4 × MQM8790-HS2F, κάθε μία με 40 θύρες με ταχύτητα 200Gb/s. Χρησιμοποιούνται 36 θύρες ανά φύλλο για τη σύνδεση κόμβων υπολογισμού (υποστηρίζουν έως 72 κόμβους ανά φύλλο χρησιμοποιώντας το HDR100 breakout),ενώ 4 θύρες ανά φύλλο χρησιμοποιούνται για σπονδυλική στήλη uplinks.
• Εναλλακτικοί μηχανισμοί σπονδυλικής στήλης:2 × QM9700 (ή ισοδύναμοι NDR switches 64 θύρων), ο καθένας συνδέεται με όλους τους 4 switches φύλλου μέσω uplinks 400Gb/s (χρησιμοποιώντας καλώδια QSFP56 έως QSFP-DD 4×200Gb/s).
• Λογιστικοί κόμβοι:400 κόμβοι, ο καθένας από τους οποίους συνδέεται με έναν διακόπτη φύλλου μέσω μιας ενιαίας σύνδεσης HDR100 200Gb/s ή διπλής σύνδεσης HDR100 100Gb/s.

Μεγέθυνση πέρα από μια μονάδα:

• Προσθέστε πρόσθετες δομές (κάθε μία με 4 διακόπτες φύλλου MQM8790-HS2F) όπως απαιτείται από την ικανότητα υπολογισμού.
• Συνδέστε τις κάψουλες μέσω ενός υψηλότερου στρώματος σπονδυλικής στήλης (υπερσπονδυλικής στήλης) χρησιμοποιώντας πρόσθετους διακόπτες QM9700 ή NDR.
• Διατηρήστε τη σταθερότητα του υφάσματος χρησιμοποιώνταςMQM8790-HS2Fσε όλες τις θέσεις των φύλλων, εξασφαλίζοντας ομοιόμορφη καθυστέρηση και διαχείριση σε ολόκληρο το ύφασμα.

Κατά την ανάπτυξη τουMQM8790-HS2Fστην κατάσταση διακοπής HDR100, εφαρμόζονται οι ακόλουθες κατευθυντήριες γραμμές καλωδίωσης:

Για υφάσματα μεγάλης κλίμακας που υπερβαίνουν τους 2.000 κόμβους, συνιστούμε τη χρήση των δυνατοτήτων προσομοίωσης υφασμάτων της UFM για την επικύρωση του σχεδιασμού τοπολογίας και της συμπεριφοράς συμφόρησης πριν από την ανάπτυξη.

5Λειτουργίες και συντήρηση: Παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Ο λειτουργικός κύκλος ζωής του υλικού InfiniBand με βάση το MQM8790-HS2F απαιτεί συστηματική προσέγγιση παρακολούθησης, αντιμετώπισης προβλημάτων και βελτιστοποίησης.Συνιστούμε την ανάπτυξη της πλατφόρμας NVIDIA UFM ως το κεντρικό εργαλείο διαχείρισης και παρακολούθησης, παρέχοντας ορατότητα σε πραγματικό χρόνο σχετικά με τις επιδόσεις των υφασμάτων, τις μετρήσεις καθυστέρησης και τα πρότυπα συμφόρησης.

Βασικές μετρήσεις παρακολούθησης:

• Κλιμάκωση επιπέδου θύρας:Η διακοπή της λειτουργίας είναι δυνατή μόνον όταν η διακοπή της λειτουργίας έχει επιτευχθεί.
• Πληροφορία και χρησιμοποίηση:Συγκεντρωτική και ανά θύρα απόδοση, προσδιορισμός υποαξιοποιούμενων ή υπεραξιοποιούμενων συνδέσεων.
• Δείκτες συμφόρησης:Πακέτα πέφτουν, διακοπές σε πλαίσια και συμβάντα ειδοποίησης συμφόρησης.
• Υγεία των υφασμάτων:Κατάσταση σύνδεσης, μετρητές σφαλμάτων και τηλεμετρία θερμοκρασίας / ισχύος.

Πρωτόκολλο αντιμετώπισης προβλημάτων για κοινά θέματα:

1. Η υποβάθμιση της καθυστέρησης:Χρησιμοποιήστε τα εργαλεία ανάλυσης καθυστέρησης της UFM για να εντοπίσετε την συγκεκριμένη διαδρομή ή την πύλη που παρουσιάζει αυξημένη καθυστέρηση. Ελέγξτε για συμφόρηση ή λανθασμένη διαμόρφωση της προσαρμοστικής δρομολόγησης.
2. Λάθη σύνδεσης ή παραλείψεις:Ελέγξτε τη φυσική συνδεσιμότητα (καλώδια, οπτική) και τους μετρητές σφάλματος λιμένων.Συμβατό με το MQM8790-HS2FΔιάφορα είδη καλωδίων και οπτικών χρησιμοποιούνται για τηνΠροδιαγραφές MQM8790-HS2F.
3. Προβλήματα διαχείρισης υποδίκτυου:Βεβαιώστε ότι εκτελείται ο διαχειριστής υποδίκτυου (SM) και ότι η τοπολογία υλικού εντοπίζεται σωστά. Ελέγξτε για συμβάντα στροφής SM.

Συστάσεις βελτιστοποίησης:

• Προσαρμοστική ρύθμιση δρομολόγησης:Προσαρμόστε τις παραμέτρους του αλγορίθμου δρομολόγησης με βάση τα παρατηρούμενα μοτίβα κυκλοφορίας ∙ χρησιμοποιήστε το UFM για να προσομοιώσετε διαφορετικές πολιτικές δρομολόγησης πριν τις εφαρμόσετε στο υλικό παραγωγής.
• Διαμόρφωση ελέγχου συμφόρησης:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Ενημερώσεις λογισμικού:Ενημερώστε τακτικά το λογισμικό firmware και το λογισμικό UFM για να έχετε πρόσβαση σε βελτιώσεις απόδοσης και νέα χαρακτηριστικά.
• Περιοδικοί έλεγχοι υφασμάτων:Να πραγματοποιούνται τακτικοί έλεγχοι των καλωδίων, της ηλεκτρικής ενέργειας και της ψύξης για να εξασφαλίζεται η αξιοπιστία της λειτουργίας σε μεγάλη κλίμακα.

6Συνοπτική & Αξιολόγηση

ΗNVIDIA Mellanox MQM8790-HS2FΗ τεχνολογική λύση που βασίζεται στην RDMA παρέχει μια ολοκληρωμένη, επικυρωμένη στο πεδίο μεθοδολογία για τη βελτιστοποίηση της διασύνδεσης χαμηλής καθυστέρησης σε συμπλέγματα RDMA/HPC/AI.Χρησιμοποιώντας τις 40 θύρες του διακόπτη 200Gb / s HDR InfiniBand, υπο-100 νανοδευτερόλεπτο καθυστέρηση, SHARP στο δίκτυο υπολογισμού, και προσαρμοστικές δυνατότητες δρομολόγησης,Οι οργανισμοί μπορούν να κατασκευάσουν υφάσματα που παρέχουν προβλέψιμη απόδοση σε κλίμακα, ενώ απλοποιούν τη διαχείριση και μειώνουν το λειτουργικό κόστος.

Οι βασικές μετρήσεις αξίας από συγκρίσιμες αναπτύξεις περιλαμβάνουν:

• Μείωση της καθυστέρησηςΗ καθυστέρηση από θύρα σε θύρα κάτω των 100 νανοδευτερολέπτων μειώνει τους χρόνους ολοκλήρωσης του MPI κατά 35% σε σύγκριση με τα υφάσματα προηγούμενης γενιάς.
• Επιτάχυνση εφαρμογής:Η εκφόρτωση υπολογιστών στο δίκτυο SHARP μειώνει το κόστος επικοινωνίας CPU / GPU έως και 20%, επιταχύνοντας τους χρόνους εκπαίδευσης AI κατά 25-30%.
• Απόδοση υφάσματος:Η προσαρμοστική δρομολόγηση και ο έλεγχος συμφόρησης διατηρούν σταθερή απόδοση κάτω από μεταβαλλόμενο φορτίο, μειώνοντας τη μεταβλητότητα της απόδοσης έως και 60%.
• Απλούστευση της λειτουργίας:Η ενσωμάτωση UFM παρέχει ολοκληρωμένη ορατότητα και αυτοματοποίηση, μειώνοντας το MTTR για περιστατικά υφασμάτων έως και 50%.
• Αποδοτικότητα κόστους:Ητιμή MQM8790-HS2Fσυνδυασμένη με την υψηλή πυκνότητα των θύρων, παρέχει χαμηλότερο κόστος ανά θύρα σε σύγκριση με εναλλακτικές λύσεις InfiniBand, μειώνοντας παράλληλα το χώρο και τις απαιτήσεις ισχύος.

Για τους αρχιτέκτονες δικτύων και τους επικεφαλής μηχανικούς, το MQM8790-HS2F προσφέρει μια κλιμακώσιμη, υψηλής απόδοσης βάση για τα clusters HPC και AI επόμενης γενιάς.Η λύση συνιστάται ιδιαίτερα για οργανισμούς που χρησιμοποιούν περιβάλλοντα με επιτάχυνση GPU μεγάλης κλίμακας, καθώς και τα παραδοσιακά κέντρα HPC που αναβαθμίζουν από υφάσματα 100Gb/s σε υφάσματα 200Gb/s. Καθώς η InfiniBand συνεχίζει να εξελίσσεται προς NDR (400Gb/s) και XDR (800Gb/s),Η υποστήριξη του MQM8790-HS2F για την εξάπλωση HDR100 εξασφαλίζει συμβατότητα με την υφιστάμενη υποδομή, παρέχοντας παράλληλα σαφή διαδρομή μετάβασης σε μελλοντικές ταχύτητες.

Για λεπτομερή πρότυπα σχεδιασμού υφασμάτων, οδηγούς προσαρμογής απόδοσης και λίστες ελέγχου ανάπτυξης, ανατρέξτε στοΔελτίο δεδομένων MQM8790-HS2Fκαι την αρχιτεκτονική NVIDIA Mellanox InfiniBand.