NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch στην πράξη

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch στην πράξη.

Προηγούμενο & Πρόκληση: Το μπουλόνι καθυστέρησης σε AI και HPC Clusters μεγάλης κλίμακας

Καθώς τα clusters εκπαίδευσης τεχνητής νοημοσύνης κλιμακώνονται σε χιλιάδες GPUs και τα συστήματα HPC ωθούν προς τις επιδόσεις exascale, ο ιστός δικτύου που συνδέει τους κόμβους υπολογισμού έχει γίνει ένας κρίσιμος καθοριστικός παράγοντας απόδοσης.Σε αυτά τα περιβάλλοντα, η καθυστέρηση δεν είναι απλώς μια μέτρηση ∙ επηρεάζει άμεσα τις επιδόσεις των εφαρμογών, τον χρόνο-λύσης και τη συνολική αποτελεσματικότητα του cluster.Για φορτία εργασίας που βασίζονται σε μεγάλο βαθμό στις συλλογικές λειτουργίες MPI (Message Passing Interface) και στα πρότυπα επικοινωνίας "όλα προς όλα"Τα παραδοσιακά δίκτυα Ethernet, τα οποία χρησιμοποιούνται για την εκπαίδευση μεγάλων γλωσσικών μοντέλων και την υπολογιστική δυναμική ρευστότητας, μπορούν να μεταφράσουν ακόμη και αυξήσεις καθυστέρησης σε επίπεδο μικροδευτερόλεπτου σε ώρες επιπλέον χρόνου εκτέλεσης.ακόμη και με RDMA μέσω Converged Ethernet (RoCE), συχνά δυσκολεύονται να προσφέρουν την καθοριστική χαμηλή καθυστέρηση που απαιτείται από αυτές τις απαιτητικές εφαρμογές.

Πρόσφατα, ένα εθνικό ερευνητικό εργαστήριο αντιμετώπισε αυτή την πρόκληση, αναπτύσσοντας ένα cluster HPC 2.000 κόμβων για την κλιματική μοντελοποίηση και την έρευνα AI.Το cluster απαιτούσε συνδεσιμότητα 200Gb / s με καθυστέρηση κάτω των 100 νανοδευτερολέπτων για να υποστηρίξει τόσο τα φορτία εργασίας HPC με βάση το MPI όσο και τη διανεμημένη εκπαίδευση τεχνητής νοημοσύνηςΗ ομάδα μηχανικών χρειαζόταν έναν διακόπτη που θα μπορούσε να προσφέρει σταθερή, χαμηλή καθυστέρηση στην κλίμακα,ενώ υποστηρίζει προηγμένα χαρακτηριστικά όπως προσαρμοστική διαδρομή και έλεγχο συμφόρησης για τη διατήρηση της απόδοσης του υφάσματος σε διαφορετικές συνθήκες φορτίου. τοNVIDIA Mellanox MQM8790-HS2FΗ τεχνολογία αυτή, η οποία παρουσιάστηκε ως η ιδανική λύση, προσφέρει 40 θύρες HDR InfiniBand 200Gb/s με καθυστέρηση κάτω των 100 νανοδευτερολέπτων και προηγμένες δυνατότητες υπολογιστών στο δίκτυο.

Λύση & Εφαρμογή: Κατασκευή ενός InfiniBand Fabric χαμηλής καθυστέρησης

Για την αντιμετώπιση των προκλήσεων της καθυστέρησης και της επεκτασιμότητας, το εργαστήριο χρησιμοποίησε τοNVIDIA Mellanox MQM8790-HS2FΗ εν λόγω μέθοδος έχει ως βασικό διακόπτη μια αρχιτεκτονική υφασμάτων σπονδυλικής στήλης.MQM8790-HS2F Διακόπτης InfiniBandπαρέχει 40 θύρες QSFP56, η καθεμία λειτουργεί με HDR 200Gb/s, παρέχοντας συνολική χωρητικότητα μετάδοσης 8Tb/s με καθυστέρηση θύρας σε θύρα κάτω των 100 νανοδευτερολέπτων.Τοπολογία 16 φύλλωνΤο σύστημα αυτό συνδέει 2.000 κόμβους υπολογισμού, ο καθένας από τους οποίους είναι εξοπλισμένος με προσαρμογείς HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR 40 θύρας QSFP56Η διαμόρφωση επέτρεψε στην ομάδα να κατασκευάσει ένα μη-μπλοκαριστικό υλικό με πλήρες εύρος ζώνης διχασμού, εξασφαλίζοντας ότι κάθε κόμβος θα μπορούσε να επικοινωνεί με κάθε άλλο κόμβο με ταχύτητα καλωδίου.

Η ανάπτυξη πραγματοποιήθηκε σε τρεις βασικές φάσεις:

• Σχεδιασμός υφάσματος:ΧρησιμοποιώνταςMQM8790-HS2F Λύση διακόπτη InfiniBand, η ομάδα σχεδίασε μια τοπολογία σπονδυλικού φύλλου όπου κάθε ένας από τους 16 διακόπτες φύλλου συνδέεται με 50 κόμβους υπολογισμού (χρησιμοποιώντας συνδυασμό απευθείας συνδέσεων 200Gb/s και 100Gb/s HDR100 break-out συνδέσεων),ενώ 4 διακόπτες σπονδυλικής στήλης παρείχαν διαφυλλική σύνδεση. τοMQM8790-HS2FΟι διακόπτες διαμορφώθηκαν με ενεργοποιημένη προσαρμοστική δρομολόγηση, επιτρέποντας στο υλικό να διανέμει δυναμικά την κυκλοφορία σε διαθέσιμες διαδρομές και να αποφεύγει τα σημεία συμφόρησης.
• Προχωρημένη διαμόρφωση χαρακτηριστικών:Η ομάδα ενεργοποίησε το SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) στους διακόπτες MQM8790-HS2F για να εκφορτώσει τις συλλογικές λειτουργίες MPI από τους κόμβους υπολογισμού.Αυτή η ικανότητα υπολογισμού στο δίκτυο επέτρεψε στους διακόπτες να εκτελούν όλες τις λειτουργίες μείωσης και μετάδοσης απευθείας, μειώνοντας τον αριθμό των διαδρομών στο δίκτυο και μειώνοντας τη συνολική καθυστέρηση για τη συλλογική επικοινωνία.
• Εναρμόνιση επιδόσεων:Η διαχείριση υποδίκτυου ρυθμίστηκε χρησιμοποιώντας την πλατφόρμα NVIDIA Unified Fabric Manager (UFM), η οποία παρείχε ορατότητα σε πραγματικό χρόνο για την υγεία των υφασμάτων, τις μετρήσεις καθυστέρησης και τα πρότυπα συμφόρησης.Η ομάδα ρυθμίζει τις παραμέτρους ελέγχου συμφόρησης για τη βελτιστοποίηση των επιδόσεων για το συνδυασμένο προφίλ φόρτου εργασίας HPC και AI.

Επειδή ηNVIDIA Mellanox MQM8790-HS2FείναιΣυμβατό με το MQM8790-HS2Fμε το ευρύτερο οικοσύστημα NVIDIA InfiniBand, συμπεριλαμβανομένων των προσαρμογών ConnectX‐6 και BlueField‐2, η ανάπτυξη ήταν απρόσκοπτη, χωρίς να απαιτούνται προσαρμοσμένοι οδηγοί ή ενημερώσεις firmware.Η ενσωμάτωση του διακόπτη με την πλατφόρμα UFM επέτρεψε στην ομάδα να παρακολουθεί την απόδοση του υφάσματος σε μεγάλη κλίμακα, εντοπίζοντας και επιλύοντας πιθανά σημεία συμφόρησης πριν επηρεάσουν το χρόνο εκτέλεσης της εφαρμογής.

Αποτελέσματα και οφέλη: Μετρήσιμες βελτιώσεις στην καθυστέρηση και τις επιδόσεις των εφαρμογών

Η συγκριτική αξιολόγηση μετά την εγκατάσταση σε ολόκληρο τον όμιλο των 2.000 κόμβων αποκάλυψε σημαντικές βελτιώσεις της απόδοσης.Η μέση καθυστέρηση από θύρα σε θύρα σε ολόκληρο το ύφασμα μετρήθηκε σε 85 νανοδευτερόλεπτα, σύμφωνα με τις προδιαγραφές κάτω των 100 νανοδευτερόλεπτων που τεκμηριώνονται στοΔελτίο δεδομένων MQM8790-HS2FΗ χαμηλή αυτή καθυστέρηση μεταφράστηκε απευθείας σε βελτιώσεις της απόδοσης των εφαρμογών: οι λειτουργίες MPI all-reduce ολοκληρώθηκαν έως και 35% ταχύτερα σε σύγκριση με το προηγούμενο υλικό InfiniBand 100Gb/s του εργαστηρίου,Ενώ οι εργασίες εκπαίδευσης κατανεμημένης τεχνητής νοημοσύνης (χρησιμοποιώντας NCCL-based επικοινωνία) είδαν τους χρόνους εποχής από άκρο σε άκρο να μειώνονται κατά περίπου 28%.

Δεύτερον, η ικανότητα υπολογισμού στο δίκτυο SHARP παρείχε σημαντικά οφέλη απόδοσης.το cluster μείωσε την αξιοποίηση της CPU και της GPU για εργασίες επικοινωνίας έως και κατά 20%Αυτό ήταν ιδιαίτερα ευεργετικό για την εκπαίδευση τεχνητής νοημοσύνης μεγάλης κλίμακας, όπου η συλλογική επικοινωνία μπορεί να αντιπροσωπεύει το 30-40% του συνολικού χρόνου εκτέλεσης.

Τρίτον, το χαρακτηριστικό προσαρμοστικής δρομολόγησης αποδείχθηκε κρίσιμο για τη διατήρηση σταθερής απόδοσης σε διαφορετικές συνθήκες φορτίου.,προσαρμοστική δρομολόγηση δυναμικά κατανεμημένη κυκλοφορία σε διαθέσιμες διαδρομές, διατηρώντας τη μέση καθυστέρηση εντός του 10% του βασικού επιπέδου και αποτρέποντας την υποβάθμιση των επιδόσεων που προκαλείται από συμφόρηση.Η ομάδα παρακολούθησε την υγεία των υφασμάτων χρησιμοποιώντας την πλατφόρμα UFM, η οποία παρείχε σε πραγματικό χρόνο πίνακες ελέγχου που παρακολουθούσαν την καθυστέρηση, την απόδοση και τη χρήση συνδέσμων σε όλους τους 20 διακόπτες.

Τέταρτον, η πυκνότητα τουMQM8790-HS2F 200Gb/s HDR 40 θύρας QSFP56Το εργαστήριο μείωσε τον αριθμό των διακόπτες που απαιτούνται κατά 50% σε σύγκριση με την προηγούμενη υποδομή InfiniBand 100Gb/s,μείωση της κατανάλωσης χώρου σε ράφους και των απαιτήσεων ισχύοςΚάθε MQM8790-HS2F κατανάλωνε λιγότερη από 230W τυπική ισχύ, συμβάλλοντας σε μείωση κατά 20% των δαπανών ψύξης για την υποδομή δικτύου.

Από επιχειρησιακή άποψη, οι δυνατότητες διαχείρισης του διακόπτη απλούστευσαν τη συνεχή συντήρηση.Η ομάδα δικτύου του εργαστηρίου χρησιμοποίησε τις διεπαφές CLI και Web UI για να εκτελέσει αναβαθμίσεις firmware και αλλαγές διαμόρφωσης χωρίς να διαταράξει τις λειτουργίες του υλικού, αξιοποιώντας την υποστήριξη του διακόπτη για ανεπιθύμητες αναβαθμίσεις.Προδιαγραφές MQM8790-HS2Fπεριλαμβάνει ολοκληρωμένα χαρακτηριστικά διαχείρισης, συμπεριλαμβανομένης της παρακολούθησης SNMP και της ενσωμάτωσης syslog,η δυνατότητα της ομάδας να ενσωματώσει το υλικό στο υφιστάμενο πλαίσιο παρακολούθησης του κέντρου λειτουργίας δικτύου (NOC).

Σύνοψη & Προοπτικές: Ένα σχέδιο για χαμηλής καθυστέρησης InfiniBand Fabrics

Η εμπειρία ανάπτυξης με τηνNVIDIA Mellanox MQM8790-HS2Fσε ένα cluster HPC και AI 2.000 κόμβων αποδεικνύει σαφώς ότι ένας διακόπτης HDR InfiniBand 200Gb/s με 40 θύρες μπορεί να προσφέρει χαμηλή καθυστέρηση, επεκτασιμότητα,και προηγμένα χαρακτηριστικά που απαιτούνται για απαιτητικά ερευνητικά και επιχειρηματικά φορτία εργασίαςΜε την αξιοποίηση της καθυστέρησης υπο-100 νανοδευτερολέπτων του διακόπτη, της προσαρμοστικής δρομολόγησης και των δυνατοτήτων υπολογισμού στο δίκτυο SHARP, οι οργανισμοί μπορούν να δημιουργήσουν υφάσματα που επιταχύνουν την επικοινωνία MPI και AI,μείωση του χρόνου προετοιμασίας για την επίλυση, και βελτίωση της συνολικής αποτελεσματικότητας των ομάδων.

Κοιτάζοντας προς το μέλλον, καθώς οι συστάδες εκπαίδευσης AI συνεχίζουν να αυξάνονται προς τις 10 000+ GPU και τα συστήματα HPC σε κλίμακα exascale, η ζήτηση για διακόπτες InfiniBand υψηλής πυκνότητας και χαμηλής καθυστέρησης θα αυξηθεί μόνο.Το MQM8790-HS2F είναι καλά τοποθετημένο για αυτή την τροχιά., επειδή η πυκνότητα των 40 θύρων, η χωρητικότητα μεταγωγής 8Tb / s και η υποστήριξη των ταχυτήτων HDR200 και HDR100 εξασφαλίζουν συμβατότητα τόσο με τους τρέχοντες όσο και με τους υπολογιστικούς κόμβους επόμενης γενιάς.Για οργανισμούς που σχεδιάζουν παρόμοιες αναπτύξεις συστάσεων HPC ή AI, η επικαιροποιημένη σε επίπεδο προσέγγιση "spine-leaf" που επικυρώθηκε στην παρούσα ανάπτυξη προσφέρει έναν πρακτικό χάρτη πορείας: εγκατάσταση των διακόπτες φύλλων MQM8790-HS2F για τη συνδεσιμότητα πρόσβασης,να χρησιμοποιούν διακόπτες σπονδυλικής στήλης υψηλότερης πυκνότητας θύρας (όπως η σειρά QM9700 64 θύρων) για μεγαλύτερα υφάσματα, και να διατηρήσει ένα ενιαίο πλαίσιο διαχείρισης που αξιοποιεί την UFM για προληπτική βελτιστοποίηση υφασμάτων.

Για λεπτομερή πρότυπα σχεδιασμού υφασμάτων, οδηγούς προσαρμογής απόδοσης και λίστες ελέγχου ανάπτυξης, ανατρέξτε στοΔελτίο δεδομένων MQM8790-HS2Fκαι την αρχιτεκτονική NVIDIA Mellanox InfiniBand.