NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Τεχνική λύση

Τεχνική Λύση Μεταγωγέα InfiniBand NVIDIA Mellanox MQM9790-NS2F | Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA, HPC και AI

Υπόβαθρο Έργου και Ανάλυση Απαιτήσεων

Τα σύγχρονα κέντρα δεδομένων που υποστηρίζουν εκπαίδευση μεγάλων μοντέλων AI, προσομοιώσεις HPC και κατανεμημένη αποθήκευση μεταβαίνουν ραγδαία από τα 200Gb/s HDR στα 400Gb/s NDR. Η κύρια ένταση για τους αρχιτέκτονες δικτύων είναι ότι η πυκνότητα των κόμβων GPU συνεχώς αυξάνεται, ενώ η καθυστέρηση και η διακύμανση της επικοινωνίας μεταξύ κόμβων γίνονται ο περιοριστικός παράγοντας για την αποδοτικότητα του συμπλέγματος. Ένα μόνο συμφόρητο άλμα ή μια λανθασμένα διαμορφωμένη βαθμίδα υφής μπορεί να μειώσει την αποτελεσματική χρήση της GPU σε εκατοντάδες κόμβους.

Τυπικές απαιτήσεις για ένα τέτοιο έργο περιλαμβάνουν ντετερμινιστική χαμηλή καθυστέρηση για συλλογικές λειτουργίες, απώλεια μεταφοράς για RDMA και NVMe over Fabrics, υψηλή ριζικότητα για να διατηρείται η υφή επίπεδη και μια σαφή πορεία αναβάθμισης που προστατεύει την υπάρχουσα επένδυση. Ο NVIDIA Mellanox MQM9790-NS2F τοποθετείται για να καλύψει αυτές τις απαιτήσεις ως μεταγωγέας InfiniBand 400Gb/s NDR εντός της οικογένειας Quantum-2.

Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύου και Συστήματος

Η προτεινόμενη αρχιτεκτονική είναι μια διστρωματική υφή InfiniBand spine-leaf κατασκευασμένη εξ ολοκλήρου σε συνδέσεις NDR. Οι μεταγωγείς leaf συνδέουν διακομιστές GPU, στόχους αποθήκευσης και κόμβους διαχείρισης, ενώ οι μεταγωγείς spine παρέχουν διασύνδεση μεταξύ leaf και ποικιλία διαδρομών. Αυτός ο σχεδιασμός διατηρεί χαμηλό τον αριθμό των αλμάτων και διασφαλίζει μη-μπλοκάρισμα εύρους ζώνης για την κίνηση ανατολής-δύσης, η οποία κυριαρχεί στα φορτία εργασίας AI και HPC.

Στο επίπεδο των τελικών σημείων, οι προσαρμογείς καναλιών υποδοχής λειτουργούν σε λειτουργία RDMA, επιτρέποντας μεταφορές μνήμης σε μνήμη χωρίς παρέμβαση της CPU. Η ίδια η υφή χειρίζεται τον έλεγχο συμφόρησης, την προσαρμοστική δρομολόγηση και την επιτάχυνση συλλογικών λειτουργιών. Η κίνηση διαχείρισης και τηλεμετρίας μοιράζεται την ίδια φυσική υποδομή, αλλά απομονώνεται μέσω πολιτικών QoS, έτσι ώστε η παρακολούθηση να μην παρεμβαίνει στα φορτία εργασίας παραγωγής.

Βασικές αρχές σχεδιασμού περιλαμβάνουν:

• Επίπεδη τοπολογία για ελαχιστοποίηση της καθυστέρησης και απλοποίηση της αντιμετώπισης προβλημάτων
• Μη-μπλοκάρισμα ή χαμηλής υπερ-υποσυντήρησης συνδέσεις μεταξύ των βαθμίδων
• Συνεπές NDR από άκρο σε άκρο για αποφυγή σημείων συμφόρησης μικτής γενιάς
• Πλεονάζουσες διαδρομές για υψηλή διαθεσιμότητα και εξισορρόπηση φορτίου
• Τυπική διαχείριση InfiniBand για λειτουργική συνέπεια

Ρόλος και Βασικά Χαρακτηριστικά του NVIDIA Mellanox MQM9790-NS2F

Ο NVIDIA Mellanox MQM9790-NS2F λειτουργεί ως δομικό στοιχείο αυτής της υφής. Ως μεταγωγέας OSFP 64 θυρών MQM9790-NS2F 400Gb/s NDR, προσφέρει υψηλή πυκνότητα θυρών σε μία μόνο μονάδα, επιτρέποντας στους αρχιτέκτονες να σχεδιάσουν ένα πιο επίπεδο δίκτυο με λιγότερες βαθμίδες. Κάθε θύρα OSFP μπορεί να λειτουργεί σε ταχύτητα NDR και η διαμόρφωση 64 θυρών υποστηρίζει ρόλους leaf και spine υψηλής ριζικότητας.

Για τις ομάδες που εξετάζουν τις προδιαγραφές του MQM9790-NS2F, η πλατφόρμα υποστηρίζει NVIDIA SHARPv3 για επιτάχυνση συλλογικών λειτουργιών, προηγμένο έλεγχο συμφόρησης και προσαρμοστική δρομολόγηση. Αυτά τα χαρακτηριστικά στοχεύουν άμεσα στην καθυστέρηση ουράς και στα προβλήματα incast που είναι κοινά στην εκπαίδευση AI και στα φορτία εργασίας MPI. Ο μεταγωγέας InfiniBand MQM9790-NS2F ενσωματώνεται επίσης με τυπικά εργαλεία διαχείρισης InfiniBand, γεγονός που μειώνει την καμπύλη εκμάθησης λειτουργίας.

Κατά τον σχεδιασμό μιας λύσης μεταγωγέα InfiniBand MQM9790-NS2F, οι αρχιτέκτονες θα πρέπει να επιβεβαιώσουν συμβατά εξαρτήματα MQM9790-NS2F, συμπεριλαμβανομένων καλωδίων OSFP, προσαρμογέων καναλιών υποδοχής και εκδόσεων firmware. Η ανασκόπηση του φύλλου δεδομένων MQM9790-NS2F νωρίς στη φάση σχεδιασμού βοηθά στην επικύρωση των απαιτήσεων ισχύος, ψύξης και χώρου ράφας πριν από την προμήθεια.

Συστάσεις Ανάπτυξης και Κλιμάκωσης

Μια τυπική ανάπτυξη ξεκινά με ένα πιλοτικό pod 32 έως 64 κόμβων GPU συνδεδεμένων σε ένα ζεύγος μεταγωγέων leaf MQM9790-NS2F. Η συνδεσιμότητα spine προστίθεται καθώς το σύμπλεγμα μεγαλώνει, χρησιμοποιώντας επιπλέον μονάδες MQM9790-NS2F για τη διατήρηση μη-μπλοκαρίσματος εύρους ζώνης. Αυτή η σταδιακή προσέγγιση επιτρέπει την επικύρωση της καθυστέρησης και της απόδοσης πριν από την πλήρη ανάπτυξη.

Για την κλιμάκωση, η συνιστώμενη πρακτική είναι η διατήρηση της υφής συμμετρικής: προσθέστε χωρητικότητα leaf και spine σε ταιριαστά βήματα, έτσι ώστε οι λόγοι υπερ-υποσυντήρησης να παραμένουν προβλέψιμοι. Η διαχείριση καλωδίων και η επισήμανση θυρών πρέπει να τυποποιηθούν από την αρχή, επειδή οι αναπτύξεις OSFP υψηλής πυκνότητας μπορούν να γίνουν δύσκολες στη συντήρηση εάν η φυσική διάταξη είναι ασυνεπής.

Ο παρακάτω πίνακας συνοψίζει μια αντιπροσωπευτική εξέταση σχεδιασμού δύο βαθμίδων:

Λειτουργίες, Παρακολούθηση, Αντιμετώπιση Προβλημάτων και Βελτιστοποίηση

Η λειτουργική επιτυχία εξαρτάται από την ορατότητα. Οι υφές InfiniBand παρέχουν μετρητές για σφάλματα σύνδεσης, συμβάντα συμφόρησης και χρήση buffer. Αυτά θα πρέπει να συλλέγονται συνεχώς και να συσχετίζονται με δεδομένα του προγραμματιστή εργασιών, έτσι ώστε οι υποβαθμίσεις απόδοσης να μπορούν να εντοπίζονται σε συγκεκριμένα τμήματα της υφής αντί να εικάζονται.

Συνήθη σενάρια αντιμετώπισης προβλημάτων περιλαμβάνουν καθυστερήσεις πιστώσεων, λανθασμένη διαμόρφωση QoS και ασυμφωνίες firmware μεταξύ μεταγωγέων και προσαρμογέων. Μια δομημένη λίστα ελέγχου — επαλήθευση ταχύτητας σύνδεσης, έλεγχος μετρητών σφαλμάτων, επιβεβαίωση πολιτικής δρομολόγησης, επιθεώρηση τηλεμετρίας συμφόρησης — μπορεί να μειώσει τον μέσο χρόνο επίλυσης. Οι προσπάθειες βελτιστοποίησης θα πρέπει να επικεντρώνονται στην καθυστέρηση ουράς αντί στη μέση απόδοση, καθώς τα φορτία εργασίας AI και HPC είναι ευαίσθητα στη συμπεριφορά της χειρότερης περίπτωσης.

Για τον προγραμματισμό προμηθειών και κύκλου ζωής, οι ομάδες συχνά συγκρίνουν την τιμή του MQM9790-NS2F και τις επιλογές MQM9790-NS2F προς πώληση μέσω εξουσιοδοτημένων καναλιών. Η τιμολόγηση εξαρτάται από τη διαμόρφωση, το επίπεδο υποστήριξης και την περιοχή, επομένως συνιστάται η έγκαιρη επικοινωνία με διανομείς και εκπροσώπους επιχειρήσεων της NVIDIA.

Ο NVIDIA Mellanox MQM9790-NS2F παρέχει μια βάση υψηλής ριζικότητας 400Gb/s NDR για διασύνδεση συμπλεγμάτων RDMA, HPC και AI. Μειώνοντας τις βαθμίδες υφής, υποστηρίζοντας την επιτάχυνση συλλογικών λειτουργιών και επιτρέποντας απώλεια χαμηλής καθυστέρησης μεταφοράς, αντιμετωπίζει τα σημεία συμφόρησης απόδοσης που περιορίζουν την πραγματική αποδοτικότητα του συμπλέγματος. Για αρχιτέκτονες δικτύων και μηχανικούς προ-πωλήσεων, αντιπροσωπεύει ένα πρακτικό και επεκτάσιμο δομικό στοιχείο για υφές InfiniBand επόμενης γενιάς.