NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch στην πράξη για βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch στην πράξη για τη βελτιστοποίηση διασύνδεσης χαμηλής καθυστέρησης για RDMA, HPC και AI Clusters

Στη σύγχρονη εκπαίδευση τεχνητής νοημοσύνης, την προσομοίωση HPC και τα διανεμημένα περιβάλλοντα αποθήκευσης, το πραγματικό εμπόδιο είναι σπάνια η ακατέργαστη υπολογιστική ισχύς· είναι η αποτελεσματικότητα της διασύνδεσης κόμβου-κωμβού.Το NVIDIA Mellanox MQM9790-NS2FΤο άρθρο αυτό περιγράφει ένα αντιπροσωπευτικό σενάριο ανάπτυξης για να δείξει πώς το MQM9790-NS2F βελτιώνει το RDMA,Υψηλής Κρισιμότητας, και την απόδοση των συστάσεων AI μέσω σχεδιασμού υφασμάτων χαμηλής καθυστέρησης.

Πίσωθεν και Προκλήσεις

Ένα τυπικό ερευνητικό ή επιχειρηματικό σύμπλεγμα τεχνητής νοημοσύνης μπορεί να αποτελείται από εκατοντάδες διακομιστές GPU, ένα παράλληλο σύστημα αρχείων και έναν προγραμματιστή εργασίας που διανέμει φορτία εργασίας MPI και NCCL.κάθε κόμβος μπορεί να παράγει πολύ περισσότερη κίνηση ανατολής-δυτικής από ό, τι ένα υλικό HDR 200Gb/s μπορεί άνετα να απορροφήσειΟι ομάδες αναφέρουν συνήθως τρία πονηρά σημεία: αυξανόμενη καθυστέρηση της ουράς κατά τη διάρκεια των συλλογικών εργασιών, κυκλοφοριακή συμφόρηση που εξαπλώνεται σε διάφορα στρώματα υφασμάτων και δυσκολία κλιμάκωσης του αριθμού των λιμένων χωρίς προσθήκη hops.

Για τους αρχιτέκτονες δικτύων, η πρόκληση δεν είναι απλώς η αναβάθμιση της ταχύτητας σύνδεσης.Εδώ είναι που η αξιολόγηση των προδιαγραφών MQM9790-NS2F σε σχέση με τα πραγματικά προφίλ φόρτωσης εργασίας γίνεται απαραίτητη.

Λύση και προσέγγιση ανάπτυξης

Σε αυτό το σενάριο, το cluster μεταφέρθηκε σε ένα υλικό 400Gb / s NDR spine-leaf που χτίστηκε γύρω από τον διακόπτη MQM9790-NS2F InfiniBand.παρέχει υψηλή ακτίνα σε ένα μόνο διακόπτηΗ ανάπτυξη ακολούθησε μια δομημένη προσέγγιση:

• Σκάλα φύλλου: Οι διακόπτες MQM9790-NS2F συνδέουν τους κόμβους GPU και τους στόχους αποθήκευσης μέσω συνδέσεων NDR 400Gb / s
• στρώμα σπονδυλικής στήλης: πρόσθετες μονάδες MQM9790-NS2F παρέχουν διαφυλλική συνδεσιμότητα και ποικιλία διαδρομών
• Συλλογική επιτάχυνση: το NVIDIA SHARPv3 αποφορτίζει τις λειτουργίες MPI και NCCL στο υλικό
• Έλεγχος συμφόρησης: προσαρμοστική δρομολόγηση και προηγμένη QoS προστασία από ενδοκοινοτικές και θερμά σημεία
• Διαχείριση: τυποποιημένα εργαλεία InfiniBand και τηλεμετρία για την παρακολούθηση της υγείας των υφασμάτων

Επειδή ο διακόπτης MQM9790-NS2F InfiniBand είναι μέρος της οικογένειας Quantum-2, αλληλεπιδρά με τις υπάρχουσες πρακτικές διαχείρισης InfiniBand και τα οικοσυστήματα προσαρμογών.Οι ομάδες που αξιολογούν συμβατό υλικό MQM9790-NS2F πρέπει να επαληθεύουν ότι οι προσαρμογείς καναλιών υποδοχής, τα καλώδια OSFP και τα επίπεδα firmware ευθυγραμμίζονται με τις απαιτήσεις NDR.Μια λύση μετατροπής InfiniBand MQM9790-NS2F αυτού του είδους σχεδιάζεται συνήθως παράλληλα με κύκλους ανανέωσης GPU για την αποφυγή μεικτών στεγνώσεων παραγωγής.

Αποτελέσματα και Οφέλη

Μετά την ανάπτυξη, η πιο εμφανής αλλαγή ήταν ο χρόνος ολοκλήρωσης εργασίας για στενά συνδεδεμένα φορτία εργασίας.Οι συλλογικές εργασίες που παλαιότερα σταμάτησαν λόγω συμφόρησης ολοκληρώνονται τώρα με μικρότερη και πιο συνεπή καθυστέρησηΗ πυκνότητα OSFP 64 θύρων απλούστευσε επίσης την καλωδίωση και μείωσε τον αριθμό των hops μετάβασης μεταξύ δύο τερματικών σημείων, γεγονός που ευνοεί άμεσα την απόδοση RDMA.

Από την άποψη των λειτουργιών, το υλικό έγινε ευκολότερο να λογικευτεί.μοιράζεται την ίδια μεταφορά χαμηλής καθυστέρησης με την κυκλοφορία υπολογιστώνΓια τους διαχειριστές πληροφορικής, το βασικό takeaway είναι ότι η επένδυση στο στρώμα υλικού μπορεί να ξεκλειδώσει την ικανότητα που έχει ήδη πληρωθεί στο στρώμα υπολογισμού.

Οι ομάδες προμηθειών και σχεδιασμού συχνά εξετάζουν το δελτίο δεδομένων MQM9790-NS2F για να επιβεβαιώσουν τον αριθμό των θύρων, την ισχύ και τους φάκελους ψύξης πριν από την οριστική ολοκλήρωση ενός σχεδιασμού.Οι ερωτήσεις σχετικά με την τιμή του MQM9790-NS2F και τη διαθεσιμότητα του MQM9790-NS2F για πώληση απευθύνονται καλύτερα σε εξουσιοδοτημένους διανομείς και αντιπροσώπους επιχειρήσεων της NVIDIA, δεδομένου ότι η τιμολόγηση εξαρτάται από τη διαμόρφωση, την υποστήριξη και την περιοχή.

Σύνοψη και προοπτικές

Το NVIDIA Mellanox MQM9790-NS2F δείχνει πώς μια πλατφόρμα NDR υψηλής ακτίνας 400Gb / s μπορεί να αναδιαμορφώσει τις επιδόσεις AI, HPC και RDMA χωρίς να προσθέσει πολυπλοκότητα υλικού.Καθώς τα φορτία εργασίας αυξάνονται και η πυκνότητα GPU αυξάνεταιΓια τους αρχιτέκτονες που σχεδιάζουν την επόμενη ανανέωση του υλικού, το MQM9790-NS2F είναι ένα πρακτικό δομικό στοιχείο για καθοριστικές,διασύνδεση υψηλής απόδοσης.