Mellanox (NVIDIA) 920-9B110-00FH-0D0 InfiniBand Switch Τεχνική λύση για τη βελτιστοποίηση της διασύνδεσης χαμηλής καθυστέρησης

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Η ανάπτυξη και η κλιμάκωση σύγχρονων συστάσεων επιταχυνόμενων υπολογιστών για την κατάρτιση της τεχνητής νοημοσύνης και τα φορτία εργασίας HPC παρουσιάζουν μοναδικές προκλήσεις για το δίκτυο.Τα παραδοσιακά δίκτυα που βασίζονται στο TCP/IP εισάγουν σημαντική καθυστέρηση και έξοδα CPUΟι βασικές απαιτήσεις για μια λύση διασύνδεσης επόμενης γενιάς περιλαμβάνουν: καθοριστική καθυστέρηση υπομικροδευτερόλεπτου για την πρόληψη της στάσης GPU,υψηλό bisectional εύρος ζώνης για τα πρότυπα επικοινωνίας "όλα προς όλα", κλιμακώσιμη υπολογιστική στο δίκτυο για την αποφόρτιση των συλλογικών λειτουργιών και ισχυρή διαχείριση υλικού για απλότητα λειτουργίας.

ΗNVIDIA Mellanox 920-9B110-00FH-0D0Η τεχνολογία αυτή έχει σχεδιαστεί για να ανταποκρίνεται στις ακριβείς αυτές απαιτήσεις, σχηματίζοντας το θεμέλιο μιας αποτελεσματικής και αποτελεσματικής920-9B110-00FH-0D0 Λύση InfiniBand switch OPNΤο έγγραφο αυτό περιγράφει ένα ολοκληρωμένο τεχνικό σχέδιο για την ανάπτυξη του.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου/συστήματος

Η προτεινόμενη αρχιτεκτονική είναι μια τοπολογία fat-tree χωρίς αποκλεισμούς, η οποία είναι το de facto πρότυπο για την κατασκευή προβλέψιμων συστάσεων HPC και AI υψηλού εύρους ζώνης.Αυτό το σχέδιο εξασφαλίζει συνεπή hop αριθμό και καθυστέρηση μεταξύ οποιωνδήποτε δύο κόμβωνΗ αρχιτεκτονική είναι χτισμένη σε ένα ολοκληρωμένο οικοσύστημα, βελτιστοποιημένο από την NVIDIA.

• Υπολογιστικό στρώμα:Συστήματα NVIDIA DGX ή HGX ή ισοδύναμοι διακομιστές GPU με NVIDIA ConnectX-7 NIC.
• Εναλλακτική σύνδεση:Υφάσματα ομοιόμορφα από920-9B110-00FH-0D0διακόπτες που λειτουργούν τόσο ως διακόπτες φύλλου (Top-of-Rack) όσο και ως διακόπτες σπονδυλικής στήλης.
• Το στρώμα διαχείρισης και ενορχήστρασης:NVIDIA UFM® για τη διαχείριση υλικών, ενσωματωμένη με προγραμματιστές συστάσεων όπως το Slurm ή το Kubernetes μέσω της στοίβας NVIDIA Magnum IO.

Αυτή η αρχιτεκτονική από άκρο σε άκρο εξασφαλίζει βέλτιστες επιδόσεις για τις επικοινωνίες RDMA και GPUDirect, δημιουργώντας έναν ενοποιημένο "υφασμένο ως υπολογιστικό πόρο".

3Ο ρόλος του 920-9B110-00FH-0D0 και τα βασικά τεχνικά χαρακτηριστικά

Μέσα σε αυτή την αρχιτεκτονική, η920-9B110-00FH-0D0Ο ρόλος του επεκτείνεται πέρα από την απλή διαβίβαση πακέτων για να γίνει ένα ενεργό υπολογιστικό στοιχείο.

Βασικοί τεχνικοί πυλώνες:

• Υπερ-χαμηλή καθυστέρηση & υψηλό εύρος ζώνης:Με κινητήρα από το920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRΤο ASIC, παρέχει κορυφαία καθυστέρηση από λιμάνι σε λιμάνι και πλήρη ταχύτητα καλωδίου 200Gb / s ανά εύρος ζώνης λιμένα, το οποίο είναι κρίσιμο για την κίνηση RDMA.
• Υπολογιστές στο δίκτυο (SHARP):Το υλικό του διακόπτη επιταχύνει τις συλλογικές λειτουργίες MPI και NCCL (All-Reduce, Broadcast) εκτελώντας συγκέντρωση δεδομένων εντός του δικτύου.
• Προχωρημένος έλεγχος συμφόρησης:Οι μηχανισμοί προσαρμοστικής δρομολόγησης και έγκαιρης διαχείρισης συμφόρησης διαχειρίζονται δυναμικά τις ροές κυκλοφορίας,την πρόληψη της πτώσης πακέτων και τη διασφάλιση δίκαιης κατανομής εύρους ζώνης κατά τη διάρκεια σενάριων ενσωματωμένης χρήσης που είναι κοινά στην εκπαίδευση τεχνητής νοημοσύνης.
• Τηλεμετρία και ορατότητα:Η ολοκληρωμένη υποστήριξη για την τηλεμετρική υποδομή της NVIDIA παρέχει βαθιές γνώσεις για τα πρότυπα κυκλοφορίας, την απασχόληση του αποθηκευτικού χώρου και την υγεία των συνδέσμων, οι οποίες είναι απαραίτητες για τη ρύθμιση της απόδοσης.

Οι μηχανικοί θα πρέπει να συμβουλεύονται τον υπάλληλοΠίνακας δεδομένων 920-9B110-00FH-0D0για λεπτομερή920-9B110-00FH-0D0 προδιαγραφέςστις ρυθμίσεις ισχύος, ψύξης και θύρας.

4Συστάσεις για την ανάπτυξη και την κλιμάκωση

Η ανάπτυξη αρχίζει με μια προσεκτική ανάλυση των920-9B110-00FH-0D0 συμβατόΜια τυπική μονάδα κλιμακώσεως είναι ένα "pod" που είναι κατασκευασμένο με ένα μη αποκλειστικό fat-tree.

Παράδειγμα: 512-GPU Cluster Pod

• Τμήμα φύλλων:Εφαρμογή920-9B110-00FH-0D0Επικοινωνίες που λειτουργούν ως Top-of-Rack (ToR), η καθεμία από τις οποίες συνδέει έως και 16 διακομιστές GPU (π.χ. 8x συστήματα DGX A100).
• Σπονδυλική στήλη:Ένα δεύτερο στρώμα920-9B110-00FH-0D0Οι διακόπτες διασυνδέουν όλους τους διακόπτες φύλλων, παρέχοντας πλήρες διμερές εύρος ζώνης.
• Καλωδίωση:Χρησιμοποιήστε καλώδια HDR QSFP56 (παθητικά ή ενεργά) για όλες τις συνδέσεις 200Gb/s μεταξύ των διακόπτες και των διακομιστών.

Μεγέθυνση πέρα από ένα Pod:Πολλαπλές κάψουλες μπορούν να συνδεθούν μεταξύ τους χρησιμοποιώντας ειδικούς διακόπτες σπονδυλικής στήλης ή με την επέκταση της ιεραρχίας του δέντρου λίπους, αξιοποιώντας την υψηλή ρίζα του920-9B110-00FH-0D0. το920-9B110-00FH-0D0 InfiniBand διακόπτης OPNπαρέχει σαφή χάρτη πορείας για τη διαλειτουργικότητα τμημάτων κατά την επέκταση.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η προληπτική διαχείριση είναι ζωτικής σημασίας για τη διατήρηση της κορυφαίας απόδοσης του υλικού.

Για ζητήματα όπως η υποβαθμισμένη απόδοση RDMA, η διατήρηση της σταθεροποίησης είναι απαραίτητη.η ροή διάγνωσης πρέπει να ξεκινά με τηλεμετρία UFM®Ελέγξτε την ακεραιότητα του καλωδίου και ελέγξτε τις ρυθμίσεις SHARP και ελέγχου συμφόρησης.

6Συμπέρασμα & Αξιολόγηση

Εφαρμογή διασύνδεσης συστάσεων με βάση τηνΜέλανοξ (NVIDIA) 920-9B110-00FH-0D0παρέχει μια μελλοντική βάση υψηλής απόδοσης για φορτία εργασίας RDMA, HPC και AI. Η πρόταση αξίας του είναι πολύπλευρη: μεγιστοποιεί τη χρήση της GPU και την επιστροφή από την αγορά με ελαχιστοποίηση των επικοινωνιακών δαπανών,Επιτρέπει την κλιμακώσιμη ανάπτυξη των ομάδων και απλοποιεί τις εργασίες μέσω ολοκληρωμένης διαχείρισης και τηλεμετρίας.

Ενώ η920-9B110-00FH-0D0 τιμήαντιπροσωπεύει μια υψηλή επένδυση, το συνολικό κόστος εκμετάλλευσης (TCO) είναι ευνοϊκό όταν λαμβάνονται υπόψη οι δραματικές μειώσεις του χρόνου ολοκλήρωσης της εργασίας, η βελτίωση της παραγωγικότητας των ερευνητών,και αποτελεσματική κλίμακα που αποφεύγει δαπανηρές ανακατασκευές υφασμάτωνΟργανισμοί αξιολόγησης920-9B110-00FH-0D0 προς πώλησηΗ τεχνική λύση αυτή παρέχει το σχέδιο για την απελευθέρωση του πλήρους δυναμικού των υποδομών επιταχυνόμενων υπολογιστών.