Mellanox 920-9B210-00FN-0D0 InfiniBand Switch. RDMA, HPC και AI Cluster χαμηλής καθυστέρησης βελτιστοποίηση διασύνδεσης

Καθώς τα μοντέλα τεχνητής νοημοσύνης αυξάνονται σε πολυπλοκότητα, τα συμπλέγματα GPU και τα περιβάλλοντα υπολογιστών υψηλής απόδοσης (HPC) εξαρτώνται όλο και περισσότερο από την αποτελεσματική επικοινωνία μεταξύ των κόμβων υπολογιστών. Το εύρος ζώνης δικτύου, η καθυστέρηση και η διαχείριση συμφόρησης έχουν γίνει κρίσιμοι παράγοντες που επηρεάζουν την απόδοση του κατανεμημένου φόρτου εργασίας. ΟNVIDIA Mellanox 920-9B210-00FN-0D0Ο διακόπτης InfiniBand παρέχει μια βάση δικτύωσης υψηλής πυκνότητας για αυτές τις απαιτητικές εφαρμογές.

Με την τεχνολογία NVIDIA Quantum-2, το QM9790 παρέχει 64 θύρες NDR που λειτουργούν έως και 400 Gb/s, με συνολική ικανότητα μεταγωγής αμφίδρομης λειτουργίας έως και 51,2 Tb/s. Αυτό το άρθρο εξετάζει ένα αντιπροσωπευτικό σενάριο ανάπτυξης τεχνητής νοημοσύνης και HPC πολλαπλών ραφιών, επισημαίνοντας τον τρόπο920-9B210-00FN-0D0μπορεί να βοηθήσει τους οργανισμούς να βελτιστοποιήσουν την επικοινωνία RDMA, να βελτιώσουν την επεκτασιμότητα του υφάσματος και να μειώσουν τους περιορισμούς απόδοσης που σχετίζονται με το δίκτυο.

01. Ιστορικό και προκλήσεις: Σημεία συμφόρησης δικτύου σε συμπλέγματα AI και HPC

Σκεφτείτε ένα κέντρο δεδομένων που λειτουργεί πολλαπλά rack διακομιστών GPU για εκπαίδευση μοντέλων μεγάλων γλωσσών, επιστημονικές προσομοιώσεις και κατανεμημένη επεξεργασία δεδομένων. Καθώς αναπτύσσονται πρόσθετοι υπολογιστικοί κόμβοι, ο όγκος της κίνησης που δημιουργείται από τη συλλογική επικοινωνία, τον συγχρονισμό παραμέτρων και την απομακρυσμένη πρόσβαση δεδομένων αυξάνεται σημαντικά.

Αν και οι σύγχρονες GPU παρέχουν σημαντικές υπολογιστικές δυνατότητες, η ανεπαρκής απόδοση διασύνδεσης μπορεί να εμποδίσει τις εφαρμογές να χρησιμοποιήσουν πλήρως τους διαθέσιμους πόρους. Σε αυτό το περιβάλλον, οι αρχιτέκτονες δικτύου συνήθως αντιμετωπίζουν πολλές σημαντικές προκλήσεις:

• Περιορισμοί εύρους ζώνης:Οι φόρτοι εργασίας GPU μεγάλης κλίμακας απαιτούν συνεχή ανταλλαγή δεδομένων, δυνητικά συντριπτικές διασυνδέσεις χαμηλότερης ταχύτητας.
• Καθυστέρηση επικοινωνίας:Οι συχνές λειτουργίες συγχρονισμού μπορούν να αυξήσουν τον χρόνο αναμονής στους κατανεμημένους κόμβους υπολογιστών.
• Συμφόρηση δικτύου:Η ταυτόχρονη επικοινωνία μεταξύ πολλών διακομιστών μπορεί να δημιουργήσει hotspot και ασυνεπή απόδοση της εφαρμογής.
• Προκλήσεις επεκτασιμότητας:Η επέκταση του μεγέθους του συμπλέγματος απαιτεί προσεκτικό σχεδιασμό της χωρητικότητας του μεταγωγέα, της τοπολογίας του δικτύου και της υποδομής καλωδίωσης.
• Λειτουργική πολυπλοκότητα:Η διατήρηση αξιόπιστης διαχείρισης υφάσματος, ορατότητας σφαλμάτων και συνέπειας διαμόρφωσης γίνεται όλο και πιο σημαντική.

Αυτές οι προκλήσεις καταδεικνύουν γιατί τα δίκτυα InfiniBand υψηλής ταχύτητας παραμένουν σημαντικά για στενά συνδεδεμένους φόρτους εργασίας υπολογιστών. Ο920-9B210-00FN-0D0 Διακόπτης InfiniBand OPNπαρέχει τις δυνατότητες υλικού που απαιτούνται για τη δημιουργία αρχιτεκτονικών διασύνδεσης υψηλού εύρους ζώνης και χαμηλής καθυστέρησης.

02. Αρχιτεκτονική λύσεων: Ανάπτυξη του διακόπτη NVIDIA Quantum-2 NDR InfiniBand

Ο920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΟ διακόπτης έχει σχεδιαστεί για υφάσματα υπολογιστών υψηλής απόδοσης που απαιτούν σημαντικό εύρος ζώνης και αποτελεσματική επικοινωνία. Διαθέτοντας 32 φυσικές υποδοχές OSFP που παρέχουν 64 θύρες NDR, το σύστημα 1U υποστηρίζει πυκνές διασυνδέσεις μεταξύ διακομιστών GPU, μεταγωγέων δικτύου και άλλων συσκευών InfiniBand.

Σε μια αντιπροσωπευτική υλοποίηση πολλαπλών ραφιών, οι διακόπτες QM9790 μπορούν να τοποθετηθούν μέσα σε μια τοπολογία InfiniBand φύλλου-ράχης. Οι διακομιστές GPU που είναι εξοπλισμένοι με συμβατούς προσαρμογείς NVIDIA ConnectX συνδέονται με διακόπτες φύλλων, ενώ οι διακόπτες σπονδυλικής στήλης παρέχουν συνδεσιμότητα σε όλα τα rack. Ο αριθμός των μεταγωγέων, των ανοδικών συνδέσεων και των επιπέδων δικτύου εξαρτάται από το μέγεθος του συμπλέγματος, τις απαιτήσεις εύρους ζώνης και την επιλεγμένη αναλογία υπερσυνδρομής.

Επικοινωνία δεδομένων RDMA και χαμηλής καθυστέρησης

Το Remote Direct Memory Access (RDMA) επιτρέπει σε συμβατά υπολογιστικά συστήματα να μεταφέρουν δεδομένα απευθείας μεταξύ καταχωρημένων περιοχών μνήμης με μειωμένη συμμετοχή της CPU. Σε κατανεμημένα περιβάλλοντα GPU, αυτό μπορεί να βοηθήσει στη μείωση των επιβαρύνσεων επικοινωνίας και στη βελτίωση της αποτελεσματικότητας της μετακίνησης δεδομένων σε σύγκριση με τις συμβατικές διαδρομές δικτύου με ένταση λογισμικού.

Το ύφασμα Quantum-2 InfiniBand υποστηρίζει δυνατότητες επικοινωνίας που βασίζονται σε RDMA και προηγμένες δυνατότητες δικτύωσης, συμπεριλαμβανομένης της προσαρμοστικής δρομολόγησης, του ελέγχου συμφόρησης και του υπολογισμού εντός δικτύου NVIDIA SHARP. Όταν διαμορφωθούν σωστά και υποστηρίζονται από τη στοίβα εφαρμογών, αυτές οι τεχνολογίες μπορούν να βοηθήσουν στη βελτιστοποίηση των συλλογικών λειτουργιών, στη μείωση των καθυστερήσεων που σχετίζονται με τη συμφόρηση και στη βελτίωση της χρήσης πόρων του δικτύου.

Διαχείριση υφασμάτων και σχεδιασμός συμβατότητας

Το QM9790 είναι ένας διακόπτης InfiniBand με εξωτερική διαχείριση, σε αντίθεση με τον εσωτερικά διαχειριζόμενο QM9700. Συνεπώς, η ανάπτυξη απαιτεί κατάλληλη διαχείριση εξωτερικού υποδικτύου και λειτουργική παρακολούθηση. Το NVIDIA Unified Fabric Manager (UFM) μπορεί να ενσωματωθεί όπου υποστηρίζεται για να παρέχει κεντρική ορατότητα υφάσματος και λειτουργίες διαχείρισης.

Μηχανικοί που αξιολογούνΣυμβατό με 920-9B210-00FN-0D0Οι προσαρμογείς και τα στοιχεία διασύνδεσης θα πρέπει να επιβεβαιώνουν τις δυνατότητες του προσαρμογέα κεντρικού υπολογιστή, τη διαλειτουργικότητα του υλικολογισμικού, τα εγκεκριμένα καλώδια και τις διαμορφώσεις των υποδοχών σύνδεσης. Το μοντέλο 920-9B210-00FN-0D0 αντιστοιχεί στη διαμόρφωση ροής αέρα προς τα εμπρός, τροφοδοσίας προς σύνδεση (P2C), η οποία πρέπει επίσης να ταιριάζει με τη σχεδίαση ψύξης του κέντρου δεδομένων.

03. Αναμενόμενα Αποτελέσματα και Λειτουργικά Οφέλη

Μετά την εφαρμογή ενός κατάλληλα σχεδιασμένου δικτύου NDR InfiniBand, οι οργανισμοί μπορούν να στοχεύσουν βελτιώσεις στην αποτελεσματικότητα της επικοινωνίας, τη χρήση πόρων και την επεκτασιμότητα του υφάσματος. Τα πραγματικά κέρδη απόδοσης εξαρτώνται από τα χαρακτηριστικά του φόρτου εργασίας, το υλικό διακομιστή, την τοπολογία δικτύου, τη διαμόρφωση λογισμικού και τα αρχικά σημεία συμφόρησης δικτύου.

Για μια αντικειμενική αξιολόγηση της απόδοσης, οι μηχανικοί δικτύου θα πρέπει να καθορίσουν μια βασική γραμμή πριν από τη μετεγκατάσταση και να διεξάγουν ελεγχόμενες δοκιμές μετά την ανάπτυξη. Τα χρήσιμα εργαλεία επικύρωσης περιλαμβάνουν βοηθητικά προγράμματα απόδοσης InfiniBand, Δοκιμές NCCL και σημεία αναφοράς εφαρμογών που βασίζονται σε MPI.

Οι συνιστώμενες μετρήσεις περιλαμβάνουν την αποτελεσματική απόδοση, τον λανθάνοντα χρόνο από σημείο σε σημείο, την απόδοση συλλογικής επικοινωνίας, τους μετρητές σφαλμάτων σύνδεσης, τους δείκτες συμφόρησης και τον χρόνο ολοκλήρωσης του φόρτου εργασίας από άκρο σε άκρο. Η σύγκριση λανθάνοντος χρόνου P50, P95 και P99 υπό αντιπροσωπευτικές συνθήκες φορτίου μπορεί επίσης να βοηθήσει στον εντοπισμό ζητημάτων συνέπειας απόδοσης που μπορεί να κρύβουν οι μέσες τιμές.

Αντί να υποθέσουμε σταθερές ποσοστιαίες βελτιώσεις, ο στόχος είναι να προσδιοριστεί εάν το αναβαθμισμένο δίκτυο μειώνει τα μετρήσιμα σημεία συμφόρησης στην επικοινωνία και επιτρέπει στους υπολογιστικούς πόρους να λειτουργούν πιο αποτελεσματικά κάτω από πραγματικούς φόρτους εργασίας παραγωγής.

04. Τεχνικές Προδιαγραφές και Επιλογή Προϊόντος

ΟNVIDIA Mellanox 920-9B210-00FN-0D0ανήκει στην οικογένεια NVIDIA Quantum-2 QM9790. Οι ακόλουθες προδιαγραφές παρέχουν μια αναφορά για το σχεδιασμό υποδομής και την προμήθεια προϊόντων.

Κατά την αναθεώρηση του920-9B210-00FN-0D0 φύλλο δεδομένωνή συγκρίνοντας τις επιλογές ανάπτυξης, οι ομάδες IT θα πρέπει να αξιολογούν την πλήρη λύση αντί να αλλάζουν χωρητικότητα μόνα τους. Σχεδιασμός καλωδίωσης, συμβατότητα προσαρμογέα, διαχείριση εξωτερικού υποδικτύου, ροή αέρα rack και μελλοντική επέκταση συμπλέγματος πρέπει να εξεταστούν μαζί.

05. Συμπέρασμα και Μελλοντική Προοπτική

Ο920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRΤο switch παρέχει μια ισχυρή βάση για οργανισμούς που επιδιώκουν να εκσυγχρονίσουν την υποδομή δικτύου AI και HPC. Συνδυάζοντας τη συνδεσιμότητα InfiniBand υψηλής ταχύτητας με τις προηγμένες δυνατότητες δικτύωσης Quantum-2, υποστηρίζει αποτελεσματική επικοινωνία RDMA και κλιμακούμενες κατανεμημένες αρχιτεκτονικές υπολογιστών.

Καθώς τα μοντέλα AI γίνονται μεγαλύτερα και τα συμπλέγματα GPU επεκτείνονται σε περισσότερους υπολογιστικούς κόμβους, η συντονισμένη βελτιστοποίηση του υλικού δικτύωσης, της διαχείρισης υφάσματος και της επικοινωνίας λογισμικού θα παραμείνει απαραίτητη. Ο920-9B210-00FN-0D0 Λύση OPN διακόπτη InfiniBandπροσφέρει ένα πρακτικό δομικό στοιχείο για σχέδια διασύνδεσης υψηλής απόδοσης και χαμηλής καθυστέρησης που μπορούν να εξελιχθούν ανάλογα με τις μεταβαλλόμενες απαιτήσεις φόρτου εργασίας.