Σύγκριση Δικτύων HPC: InfiniBand vs. Ethernet

Ημερομηνία:12 Νοεμβρίου 2023

Η αμείλικτη επιδίωξη του υπολογιστικού και του σύνθετου φόρτου εργασίας του AI έχει ωθήσει την υποδομή υπολογιστών υψηλής απόδοσης (HPC) στα όριά της. Στο επίκεντρο αυτής της εξέλιξης βρίσκεται μια κρίσιμη αρχιτεκτονική απόφαση: η επιλογή του υφάσματος διασύνδεσης. Τη συζήτηση τουInfiniband vs Ethernetείναι κεντρικό για το σχεδιασμό αποτελεσματικούΔικτύωση HPCπεριβάλλοντα. Με την απόκτηση του Nvidia τουMellanox, ένας ηγέτης στις διασυνδέσεις υψηλής απόδοσης, ο διαγωνισμός αυτός έχει ενταθεί, οδηγώντας την καινοτομία και τις συναρπαστικές συγκρίσεις που βασίζονται σε δεδομένα για τους πελάτες των επιχειρήσεων και των ερευνών.

Η ακατέργαστη απόδοση είναι ο κύριος διαφοροποιητής. Το Infiniband, σχεδιασμένο ρητά για τα περιβάλλοντα του κέντρου δεδομένων χαμηλής λανθάνουσας λανθάνουσας, κατέχει ένα σημαντικό πλεονέκτημα.

• Αφάνεια:Το Infiniband παραδίδει σταθερά την καθυστέρηση από άκρο σε άκρο, η οποία είναι κρίσιμη για την επικοινωνία MPI (Message Passing Interface) σε στενά συζευγμένες προσομοιώσεις. Το Ethernet, ακόμη και με το ROCE (RDMA πάνω από το Converged Ethernet), συνήθως λειτουργεί στο εύρος μικροδευτερολέπτων (> 1,2 μs), εισάγοντας σημεία συμφόρησης σε παράλληλους φόρτους εργασίας.
• Απόδοση:Ενώ και οι δύο τεχνολογίες προσφέρουν λύσεις 200G και 400G, ο έλεγχος της συμφόρησης της Infiniband και η προσαρμοστική δρομολόγηση εξασφαλίζουν πιο συνεπή και αποτελεσματική χρήση του εύρους ζώνης, μεγιστοποιώντας την απόδοση εφαρμογών.

Για εφαρμογές όπου ο χρόνος σε διάλυση είναι πρωταρχική, όπως η μοντελοποίηση του κλίματος ή η γονιδιωματική αλληλουχία, αυτό το κενό απόδοσης μεταφράζεται άμεσα στην επιτάχυνση της έρευνας.

Πέρα από τις βασικές μετρήσεις, η αρχιτεκτονική του Infiniband εισάγει χαρακτηριστικά μετατόπισης παραδείγματος που ο Ethernet αγωνίζεται να ταιριάζει.

• Sharp (κλιμακωτό πρωτόκολλο ιεραρχικής συσσωμάτωσης και μείωσης):Αυτό το πρωτοποριακό χαρακτηριστικό τουMellanoxΟι διακόπτες Infiniband εκτελούν αριθμητικές λειτουργίες (όπως μειώσεις MPI) μέσα στο ύφασμα του δικτύου, εκφορτώνοντας αυτή την εργασία από την CPU. Αυτό μπορεί να επιταχύνει τις συλλογικές λειτουργίες έως και 50%, ένα χαρακτηριστικό που δεν είναι διαθέσιμο σε πρότυπο Ethernet.
• Ελέγχου εγγενούς συμφόρησης:Η ενσωματωμένη προσαρμοστική δρομολόγηση του Infiniband διαχειρίζεται δυναμικά την κυκλοφορία για να αποφύγει τα hotspots. Το Ethernet βασίζεται σε πρόσθετα πρωτόκολλα (π.χ. DCQCN) για τη διαχείριση συμφόρησης, η οποία μπορεί να είναι λιγότερο αποτελεσματική και να απαιτεί πολύπλοκο συντονισμό.

Η κυριαρχία του Ethernet σε κέντρα δεδομένων γενικού σκοπού παρουσιάζει μια επιτακτική περίπτωση που βασίζεται στην εξοικείωση και το οικοσύστημα.

• Πανεπιστήμιο και δεξιότητες:Το Ethernet είναι παγκοσμίως κατανοητό και μια τεράστια ομάδα μηχανικών δικτύων είναι εξοικειωμένος με τη διαχείριση και την αντιμετώπιση προβλημάτων. Αυτό μπορεί να μειώσει τα λειτουργικά γενικά έξοδα και το κόστος κατάρτισης.
• Σύγκλιση:Ένα ενιαίο ύφασμα Ethernet μπορεί ενδεχομένως να μεταφέρει αποθήκευση, δεδομένα και διαχείριση, απλοποιώντας την αρχιτεκτονική δικτύου. Ωστόσο, αυτή η σύγκλιση συχνά απαιτεί πολύπλοκες πολιτικές QoS για την προστασία των ευαίσθητων στην απόδοσηΔικτύωση HPCκυκλοφορία.
• Κόστος:Ιστορικά, τα εξαρτήματα Ethernet έφεραν χαμηλότερη τιμή. Ωστόσο, το χάσμα έχει μειωθεί σημαντικά με την εισαγωγή του Ethernet υψηλής ταχύτητας και του συνολικού κόστους ιδιοκτησίας (TCO), λαμβάνοντας υπόψη την απόδοση ανά watt και την απόδοση ανά δολάριο συχνά ευνοεί το Infiniband για αποκλειστικά συστάδες HPC.

Η επιλογή μεταξύ Infiniband και Ethernet δεν είναι θέμα των οποίων είναι παγκοσμίως καλύτερη, αλλά είναι βέλτιστη για τον συγκεκριμένο φόρτο εργασίας. Για καθαρό, κρίσιμο της αποστολήςΔικτύωση HPCΠεριβάλλον-όπου επιτυγχάνοντας τον ταχύτερο χρόνο προς λύση για σύνθετους υπολογισμούς είναι ο πρωταρχικός στόχος-Infiniband, που τροφοδοτείται απόMellanoxΤεχνολογία, παραμένει ο αδιαμφισβήτητος ηγέτης απόδοσης. Οι προχωρημένες δυνατότητες πληροφορικής και η ανώτερη απόδοση του δικτύου παρέχουν μια απτή απόδοση επένδυσης (ROIL, για έρευνα και επιχειρήσεις που οδηγούνται από την ΑΙ. Αντίθετα, για περιβάλλοντα ή συστάδες μικτής φόρτωσης ή συστάδες, όπου η ακραία απόδοση είναι λιγότερο κρίσιμη, το Ethernet υψηλής ταχύτητας προσφέρει μια οικεία και ικανή εναλλακτική λύση.