NVIDIA Mellanox 920-9B110-00FH-0D0 Τεχνική λύση για το InfiniBand Switch

Τεχνική Λύση Μεταγωγέα InfiniBand NVIDIA Mellanox 920-9B110-00FH-0D0 | Βελτιστοποίηση Διασύνδεσης Χαμηλής Καθυστέρησης για Συμπλέγματα RDMA, HPC και AI

Ιστορικό Έργου και Ανάλυση Απαιτήσεων

Τα σύγχρονα κέντρα δεδομένων που υποστηρίζουν εκπαίδευση AI, προσομοιώσεις HPC και κατανεμημένη αποθήκευση αντιμετωπίζουν διπλή πίεση στην εύρος ζώνης και την καθυστέρηση στο επίπεδο του δικτύου. Η πυκνότητα των κόμβων GPU συνεχίζει να αυξάνεται, ενώ η καθυστέρηση ουράς και η διακύμανση της επικοινωνίας μεταξύ κόμβων γίνονται ο περιοριστικός παράγοντας για τη συνολική αποδοτικότητα του συμπλέγματος. Για πολλούς οργανισμούς, το πρακτικό ερώτημα δεν είναι αν θα υιοθετηθεί το NDR 400Gb/s, αλλά πώς να κατασκευαστεί ένα αποδεδειγμένο, οικονομικά αποδοτικό δίκτυο HDR που εξακολουθεί να προσφέρει ντετερμινιστική απόδοση.

Τυπικές απαιτήσεις για ένα τέτοιο έργο περιλαμβάνουν μεταφορά RDMA χαμηλής καθυστέρησης, συμπεριφορά δικτύου χωρίς απώλειες, συμβατότητα προς τα πίσω με την υπάρχουσα υποδομή EDR και FDR, και ένα σαφές μονοπάτι κλιμάκωσης. Ο NVIDIA Mellanox 920-9B110-00FH-0D0 τοποθετείται για να καλύψει αυτές τις απαιτήσεις ως μεταγωγέας InfiniBand HDR 200Gb/s εντός της οικογένειας NVIDIA Quantum.

Συνολικός Σχεδιασμός Αρχιτεκτονικής Δικτύου και Συστήματος

Η προτεινόμενη αρχιτεκτονική είναι ένα δίκτυο InfiniBand δύο επιπέδων spine-leaf κατασκευασμένο με συνδέσεις HDR 200Gb/s. Οι μεταγωγείς leaf συνδέουν κόμβους υπολογιστών, στόχους αποθήκευσης και διακομιστές διαχείρισης, ενώ οι μεταγωγείς spine παρέχουν διασύνδεση μεταξύ των leaf και ποικιλία διαδρομών. Αυτός ο σχεδιασμός διατηρεί χαμηλό τον αριθμό των αλμάτων και διασφαλίζει μη-μπλοκάρισμα εύρος ζώνης για την κίνηση ανατολής-δύσης, η οποία κυριαρχεί στα φορτία εργασίας HPC και AI.

Στο επίπεδο των τελικών σημείων, οι προσαρμογείς καναλιού υποδοχής λειτουργούν σε λειτουργία RDMA, επιτρέποντας μεταφορές μνήμης σε μνήμη χωρίς παρέμβαση της CPU. Το δίκτυο χειρίζεται τον έλεγχο συμφόρησης, την προσαρμοστική δρομολόγηση και την επιτάχυνση συλλογικών λειτουργιών. Η κίνηση διαχείρισης και τηλεμετρίας μοιράζεται την ίδια φυσική υποδομή, αλλά απομονώνεται μέσω πολιτικών QoS, ώστε η παρακολούθηση να μην παρεμβαίνει στα φορτία εργασίας παραγωγής.

Βασικές αρχές σχεδιασμού περιλαμβάνουν:

• Επίπεδη τοπολογία για ελαχιστοποίηση της καθυστέρησης και απλοποίηση της αντιμετώπισης προβλημάτων
• Μη-μπλοκάρισμα ή χαμηλή υπερ-υποχρέωση συνδέσεων μεταξύ των επιπέδων
• Συνεπές HDR από άκρο σε άκρο, με συμβατότητα προς τα πίσω EDR/FDR όπου χρειάζεται
• Πλεονάζουσες διαδρομές για υψηλή διαθεσιμότητα και εξισορρόπηση φορτίου
• Τυπική διαχείριση InfiniBand για λειτουργική συνέπεια

Ρόλος και Βασικά Χαρακτηριστικά του NVIDIA Mellanox 920-9B110-00FH-0D0

Ο NVIDIA Mellanox 920-9B110-00FH-0D0 χρησιμεύει ως ο βασικός δομικός λίθος αυτού του δικτύου. Ως πλατφόρμα 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR, παρέχει 40 θύρες QSFP56 και 16Tb/s μη-μπλοκάρισμα χωρητικότητα μεταγωγής σε μορφή 1U. Αυτή η πυκνότητα υποστηρίζει ρόλους leaf υψηλής ακτίνας και απλοποιεί την καλωδίωση σε πυκνές ράγες.

Για ομάδες που εξετάζουν τις προδιαγραφές του 920-9B110-00FH-0D0, ο μεταγωγέας υποστηρίζει RDMA, MPI και NVIDIA SHARP για εκφόρτωση συλλογικών λειτουργιών. Ο προηγμένος έλεγχος συμφόρησης και η προσαρμοστική δρομολόγηση στοχεύουν στα προβλήματα καθυστέρησης ουράς και incast που είναι κοινά στην εκπαίδευση AI και στα φορτία εργασίας MPI. Το OPN του μεταγωγέα InfiniBand 920-9B110-00FH-0D0 ενσωματώνεται επίσης με τυπικά εργαλεία διαχείρισης InfiniBand, μειώνοντας την καμπύλη εκμάθησης λειτουργίας.

Κατά τον σχεδιασμό μιας λύσης OPN μεταγωγέα InfiniBand 920-9B110-00FH-0D0, οι αρχιτέκτονες θα πρέπει να επιβεβαιώσουν συμβατά εξαρτήματα 920-9B110-00FH-0D0, συμπεριλαμβανομένων καλωδίων QSFP56, προσαρμογέων καναλιού υποδοχής και εκδόσεων υλικολογισμικού. Η ανασκόπηση του φύλλου δεδομένων 920-9B110-00FH-0D0 νωρίς στη φάση σχεδιασμού βοηθά στην επικύρωση των απαιτήσεων ισχύος, ψύξης και χώρου ράγας πριν από την προμήθεια.

Συστάσεις Ανάπτυξης και Κλιμάκωσης

Μια τυπική ανάπτυξη ξεκινά με ένα πιλοτικό pod 32 έως 64 κόμβων υπολογιστών συνδεδεμένων σε ένα ζεύγος μεταγωγέων leaf 920-9B110-00FH-0D0. Η συνδεσιμότητα spine προστίθεται καθώς το σύμπλεγμα μεγαλώνει, διατηρώντας μη-μπλοκάρισμα εύρος ζώνης μεταξύ των leaf. Αυτή η σταδιακή προσέγγιση επιτρέπει την επικύρωση της καθυστέρησης και της απόδοσης πριν από την πλήρη ανάπτυξη.

Για την κλιμάκωση, διατηρήστε το δίκτυο συμμετρικό: προσθέστε χωρητικότητα leaf και spine σε ισομερείς αυξήσεις, ώστε οι λόγοι υπερ-υποχρέωσης να παραμένουν προβλέψιμοι. Η διαχείριση καλωδίων και η επισήμανση θυρών πρέπει να τυποποιηθούν από την αρχή, καθώς οι αναπτύξεις QSFP56 υψηλής πυκνότητας γίνονται δύσκολες στη συντήρηση εάν η φυσική διάταξη είναι ασυνεπής.

Ο παρακάτω πίνακας συνοψίζει μια αντιπροσωπευτική εξέταση σχεδιασμού δύο επιπέδων:

Λειτουργίες, Παρακολούθηση, Αντιμετώπιση Προβλημάτων και Βελτιστοποίηση

Η λειτουργική επιτυχία εξαρτάται από την ορατότητα. Τα δίκτυα InfiniBand παρέχουν μετρητές για σφάλματα σύνδεσης, συμβάντα συμφόρησης και χρήση buffer. Αυτά θα πρέπει να συλλέγονται συνεχώς και να συσχετίζονται με δεδομένα του προγραμματιστή εργασιών, ώστε οι υποβαθμίσεις απόδοσης να μπορούν να εντοπίζονται σε συγκεκριμένα τμήματα του δικτύου αντί να εικάζονται.

Συνήθη σενάρια αντιμετώπισης προβλημάτων περιλαμβάνουν παγώματα πιστώσεων, λανθασμένη διαμόρφωση QoS και ασυμφωνίες υλικολογισμικού μεταξύ μεταγωγέων και προσαρμογέων. Μια δομημένη λίστα ελέγχου — επαλήθευση ταχύτητας σύνδεσης, έλεγχος μετρητών σφαλμάτων, επιβεβαίωση πολιτικής δρομολόγησης, επιθεώρηση τηλεμετρίας συμφόρησης — μπορεί να μειώσει τον μέσο χρόνο επίλυσης. Οι προσπάθειες βελτιστοποίησης θα πρέπει να επικεντρώνονται στην καθυστέρηση ουράς αντί στην μέση απόδοση, καθώς τα φορτία εργασίας HPC και AI είναι ευαίσθητα στη συμπεριφορά της χειρότερης περίπτωσης.

Για τον προγραμματισμό προμηθειών και κύκλου ζωής, οι ομάδες συχνά συγκρίνουν την τιμή του 920-9B110-00FH-0D0 και τις επιλογές 920-9B110-00FH-0D0 προς πώληση μέσω εξουσιοδοτημένων καναλιών. Η τιμολόγηση εξαρτάται από τη διαμόρφωση, το επίπεδο υποστήριξης και την περιοχή, επομένως συνιστάται η έγκαιρη συνεργασία με διανομείς και εκπροσώπους επιχειρήσεων της NVIDIA.

Σύνοψη και Αξιολόγηση Αξίας

Ο NVIDIA Mellanox 920-9B110-00FH-0D0 παρέχει μια αποδεδειγμένη βάση HDR 200Gb/s για διασύνδεση συμπλεγμάτων RDMA, HPC και AI. Μειώνοντας τα επίπεδα του δικτύου, υποστηρίζοντας την επιτάχυνση συλλογικών λειτουργιών και επιτρέποντας μεταφορά χαμηλής καθυστέρησης χωρίς απώλειες, αντιμετωπίζει τα σημεία συμφόρησης που περιορίζουν την πραγματική αποδοτικότητα του συμπλέγματος. Για αρχιτέκτονες δικτύων και μηχανικούς προ-πωλήσεων, αντιπροσωπεύει έναν πρακτικό και κλιμακούμενο δομικό λίθο για δίκτυα InfiniBand HDR με σαφές μονοπάτι προς τα εμπρός.