NVIDIA Mellanox MCX653106A-HDAT Server Adapter Τεχνική λύση

NVIDIA Mellanox MCX653106A-HDAT Server Adapter Τεχνική λύση: RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και Αρχιτεκτονική βελτίωσης της απόδοσης του διακομιστή

1. Ανάλυση του ιστορικού και των αναγκών του έργου

Τα σύγχρονα κέντρα δεδομένων που υποστηρίζουν την τεχνητή νοημοσύνη, την υψηλής απόδοσης πληροφορική και την ανάλυση σε πραγματικό χρόνο αντιμετωπίζουν μια συγκέντρωση απαιτητικών απαιτήσεων: τεράστιο εύρος ζώνης, καθυστέρηση σε κλίμακα μικροδευτερολέπτων,καθοριστική απόδοσηΟι παραδοσιακές αρχιτεκτονικές δικτύων που βασίζονται στο TCP/IP και το πρότυπο Ethernet αποτυγχάνουν σταθερά να ανταποκριθούν σε αυτές τις απαιτήσεις, εισάγοντας απρόβλεπτες διαταραχές καθυστέρησης.καταναλώνουν υπερβολικούς πόρους CPU για επεξεργασία πρωτοκόλλουΚαθώς τα clusters κλιμακώνονται από δεκάδες σε εκατοντάδες κόμβους, αυτοί οι περιορισμοί συσσωρεύονται.που οδηγεί σε σοβαρή υποβάθμιση της απόδοσης και αναποτελεσματική χρήση πόρων.

Οι βασικές απαιτήσεις της επιχείρησης που οδηγούν στην υιοθέτηση προηγμένων προσαρμογών διακομιστών περιλαμβάνουν:

• Υπερ-χαμηλή καθυστέρηση σε κλίμακα:Οι εργασίες κατανεμημένης εκπαίδευσης απαιτούν καθυστέρηση συλλογικής επικοινωνίας κάτω από 500 μικροδευτερόλεπτα σε εκατοντάδες κόμβους για να διατηρηθεί η αξιοποίηση της GPU πάνω από 90%.
• Αποφόρτιση CPU πέραν της βασικής δικτύωσης:Η επεξεργασία δικτύου πρέπει να καταναλώνει λιγότερο από 8% των πόρων CPU ανά κόμβο για τη διατήρηση της χωρητικότητας για φορτία εργασίας εφαρμογών.
• Ασφάλεια γραμμικού επιτοκίουΗ κρυπτογράφηση δεδομένων κατά τη διαμετακόμιση πρέπει να εκτελείται με ταχύτητα καλωδίου χωρίς να διακυβεύεται η απόδοση ή να προστίθεται σημαντική καθυστέρηση.
• Προγραμματισμένη διαδρομή δεδομένων:Οι προσαρμογείς πρέπει να υποστηρίζουν την προσαρμοσμένη διεύθυνση κυκλοφορίας και την επεξεργασία πακέτων για να προσαρμόσουν τα εξελισσόμενα πρότυπα φόρτου εργασίας και τις καινοτομίες πρωτοκόλλου.
• Αδιάλειπτη επεκτασιμότητα:Η υποδομή πρέπει να κλιμακώνεται από δεκάδες σε εκατοντάδες κόμβους με γραμμική αύξηση της απόδοσης και χωρίς εκρήξεις λειτουργικής πολυπλοκότητας.

ΗNVIDIA Mellanox MCX653106A-HDATείναι ειδικά σχεδιασμένο για να ανταποκρίνεται σε αυτές τις απαιτήσεις, λειτουργώντας ως το θεμελιώδες δομικό στοιχείο για τη δικτύωση κέντρων δεδομένων επόμενης γενιάς.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου/συστήματος

Η προτεινόμενη αρχιτεκτονική χρησιμοποιεί μια υψηλής απόδοσης τοπολογία φύλλου-σπονδυλικής στήλης, βελτιστοποιημένη για τη μεταφορά RoCEv2.Λύση κάρτας προσαρμογέα Ethernet MCX653106A-HDAT, αναπτύσσεται σε κάθε κόμβο διακομιστή για να παρέχει συνδεσιμότητα υπερυψωμένου εύρους ζώνης με προηγμένες δυνατότητες εκφόρτωσης.

στρώματα αρχιτεκτονικής:

• Σημεία υπολογισμού/αποθήκευσης:Κάθε διακομιστής είναι εξοπλισμένος μεMCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeΚαι οι δύο θύρες λειτουργούν σε ενεργό-ενεργό λειτουργία, παρέχοντας συνολική απόδοση 200 Gb / s με εξισορρόπηση φορτίου βασισμένη σε υλικό και μετάβαση αποτυχίας.Ο προσαρμογός είναι PCIe 4Η διεπαφή.0 x16 παρέχει εύρος ζώνης 32 GT / s, εξαλείφοντας τα μειονεκτήματα από την πλευρά του οικοδεσπότη.
• Σχήμα φύλλου:Οι διακόπτες NVIDIA Spectrum-4 παρέχουν χαμηλή καθυστέρηση, χωρίς απώλεια προώθησης Ethernet με προηγμένο έλεγχο συμφόρησης RoCE (PFC, ECN και DCQCN).Αυτοί οι διακόπτες υποστηρίζουν 400GbE uplinks και παρέχουν ολοκληρωμένη τηλεμετρία για την ορατότητα υφασμάτων.
• Σπονδυλική στήλη:Οι σπονδυλικοί διακόπτες υψηλής χωρητικότητας διασυνδέουν όλους τους κόμβους των φύλλων μέσω ανωτέρω συνδέσεων 400GbE, εξασφαλίζοντας μη αποκλειστική επικοινωνία από οποιονδήποτε σε οποιονδήποτε σε ολόκληρο τον ιστό με καθοριστική καθυστέρηση.
• Διαχείριση και Ορχήστραση:Το NVIDIA DOCA και το MLNX-OS παρέχουν ενοποιημένη διαχείριση, συλλογή τηλεμετρίας, ενορχήστρωση διαμόρφωσης και προμήθεια μηδενικών επαφών σε ολόκληρο το στοίχημα.

Η αρχιτεκτονική ενσωματώνει εικονικοποίηση δικτύου με βάση το υλικό μέσω SR-IOV και eSwitch offload, υποστηρίζοντας έως και 1,000 εικονικές λειτουργίες ανά προσαρμογέα για αποτελεσματική απομόνωση πολλών ενοικιαστών χωρίς να θίγεται η απόδοση.

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MCX653106A-HDAT στην λύση

ΗNVIDIA Mellanox MCX653106A-HDATΤο σύστημα λειτουργεί ως η κρίσιμη διεπαφή μεταξύ των πόρων υπολογισμού / αποθήκευσης και του ιστού δικτύου.

Σύμφωνα με τηνΔελτίο δεδομένων MCX653106A-HDATΤο πλήρες σύστημα διασύνδεσης ηλεκτρικής ενέργειας που χρησιμοποιείται για την κατασκευή των ηλεκτρικών συσσωρευτών είναι ένα από τα σημαντικότερα συστήματα διασύνδεσης ηλεκτρικής ενέργειας στην Ευρώπη.Ειδικότητες MCX653106A-HDATλεπτομερή προηγμένη υποστήριξη τηλεμετρίας, συμπεριλαμβανομένων μετρητών επιδόσεων ανά ροή, ιστόγραμμα καθυστέρησης και ανίχνευση συμφόρησης σε πραγματικό χρόνο,όλα τα απαραίτητα για την προληπτική λειτουργία του δικτύου και τον προγραμματισμό της ικανότητας.

4. Συνιστώσεις ανάπτυξης και κλιμάκωσης (με τυπική τοπολογία)

Για τους οργανισμούς που σχεδιάζουν την ανάπτυξη της παραγωγήςNVIDIA Mellanox MCX653106A-HDAT, συνιστάται η ακόλουθη σταδιακή προσέγγιση:

Φάση 1 Πιλοτική επικύρωση (48 κόμβοι):Ξεκινήστε με ένα μικρό σύμπλεγμα για να επικυρώσετε τη διαμόρφωση RoCE, να ρυθμίσετε λεπτομερώς τις παραμέτρους DCB και να αξιολογήσετε την απόδοση της εφαρμογής.MCX653106A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeΠραγματοποιεί διεξοδική επικύρωση των ρυθμίσεων PFC, ECN και DCQCN χρησιμοποιώντας τα δεδομένα τηλεμετρίας που εκτίθενται από τον προσαρμογέα.

Φάση 2 ∆ημιουργία Pod (20 ∆50 κόμβοι):Εφαρμόστε ένα ζευγάρι NVIDIA Spectrum-4 leaf switches με lossless Ethernet.Ενεργοποίηση διαχείρισης συμφόρησης με βάση το υλικό και διαμόρφωση ειδικών πολιτικών QoS για το φόρτο εργασίας. τοΣυμφωνία MCX653106A-HDATΗ φύση της λύσης εξασφαλίζει την απρόσκοπτη ενσωμάτωση με τις υπάρχουσες πλατφόρμες διακομιστών και τις διανομές Linux.

Φάση 3 ∆ιαστοιχία υλικού (100+ κόμβοι):Εφαρμόστε προσαρμοστικές πολιτικές δρομολόγησης και ελέγχου συμφόρησης.αυτοματοποιημένη προμήθεια, και παρακολούθηση σε όλο το ύφασμα.

Τυπική περιγραφή τοπολογίας:Μια τυποποιημένη διαμόρφωση ράκα αποτελείται από 20 διακομιστές υπολογισμού/αποθήκευσης, ο καθένας εξοπλισμένος με έναMCX653106A-HDATΗ πύλη 1 συνδέεται με το Leaf Switch A, η πύλη 2 συνδέεται με το Leaf Switch B, παρέχοντας περιττές ενεργές-ενεργές διαδρομές με αυτόματη μεταστροφή.που σχηματίζουν ένα ύφασμα CLOS με 1Αυτό το σχεδιασμό εξασφαλίζει ότι οποιαδήποτε αποτυχία ενός ενιαίου συνδέσμου ή διακόπτη δεν επηρεάζει τη διαθεσιμότητα της εφαρμογής, με μηχανισμούς ανάκτησης υποδευτερολέπτου.

Για τους οργανισμούς που αξιολογούν το συνολικό κόστος ιδιοκτησίας, τοMCX653106A-HDAT τιμήθα πρέπει να εξεταστεί παράλληλα με την εξοικονόμηση CPU (συνήθως 4-6 πυρήνες ανακτηθούν ανά διακομιστή), τα 3 ̇ 5 × κέρδη απόδοσης εφαρμογής και την ικανότητα ενοποίησης πολλαπλών συνδέσεων 25GbE.Οι μειώσεις όγκου είναι συχνά διαθέσιμες γιαMCX653106A-HDAT προς πώλησηπακέτα με NVIDIA Spectrum switches και συνδρομές λογισμικού DOCA.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Η αποτελεσματική λειτουργία ενός υφάσματος RoCE υψηλών επιδόσεων απαιτεί ειδικές πρακτικές παρακολούθησης και αντιμετώπισης προβλημάτων.MCX653106A-HDATπαρέχει ολοκληρωμένη οργάνωση για την υποστήριξη αυτών των δραστηριοτήτων:

• Συλλογή και οπτικοποίηση τηλεμετρίας:Χρησιμοποιήστε τους μετρητές υλικού του προσαρμογέα για την παρακολούθηση της απόδοσης ανά ροή, του βάθους ουράς, των πτώσεων πακέτων και της κατανομής καθυστέρησης σε δονηρότητα κάτω του δευτερολέπτου.Μετρήσεις εξαγωγής σε τυποποιημένες πλατφόρμες παρακολούθησης (Prometheus), Grafana, ELK stack) για πίνακες ελέγχου σε πραγματικό χρόνο και συναγερμούς.
• Ανίχνευση και διαχείριση συμφόρησης:Παρακολουθήστε τα πλαίσια παύσης PFC, τα πακέτα με σήμανση ECN και την απασχόληση του αποθηκευτικού αποθέματος για να εντοπίσετε και να εντοπίσετε τις μικρο-εξόδους και τα σημεία καύσης κυκλοφορίας.Δελτίο δεδομένων MCX653106A-HDATπαρέχει λεπτομερείς οδηγίες σχετικά με την ερμηνεία αυτών των μετρητών και τον καθορισμό ουσιαστικών ορίων συναγερμού.
• Διαχείριση κύκλου ζωής:Οι τακτικές ενημερώσεις του NVIDIA OFED driver stack και του firmware του προσαρμογέα είναι απαραίτητες για βελτιώσεις απόδοσης, ασφάλειας και χαρακτηριστικών.Διαχείριση κύκλου ζωής μηδενικής επαφής σε μεγάλες αναπτύξεις.
• Κατευθυντήριες γραμμές για τη ρύθμιση των επιδόσεων:Οι βασικές παραμέτροι συντονισμού περιλαμβάνουν τα όρια του αποθηκευτικού αποθέτησης PFC (συνήθως 2-4 MB ανά θύρα), τα όρια σήμανσης ECN (80-90% του βάθους ουράς), τις ρυθμίσεις μετριοποίησης διακοπής του προσαρμογέα (θυμητότητα ισοζυγίου έναντι χωρητικότητας),και διαμόρφωση σύνδεσης PCIeΟι κατάλληλες ρυθμίσεις εξαρτώνται από το συγκεκριμένο προφίλ φόρτου εργασίας και το μέγεθος του cluster.
• Συστηματικό πλαίσιο αντιμετώπισης προβλημάτων:Τα περισσότερα προβλήματα απόδοσης μπορούν να εντοπιστούν σε λανθασμένες ρυθμίσεις DCB, ασυμφωνίες MTU, ασυμβατότητες εκδόσεων οδηγών ή προβλήματα καλωδίωσης.mlxlink, και mlxband) παρέχει ολοκληρωμένη ορατότητα της λειτουργικής κατάστασης, της υγείας της σύνδεσης, των στατιστικών σφαλμάτων και της χρήσης του εύρους ζώνης.

6Σύνοψη και αξιολόγηση της αξίας

ΗNVIDIA Mellanox MCX653106A-HDATαντιπροσωπεύει στρατηγική επένδυση σε υποδομές που παρέχει μετασχηματιστική επιχειρηματική αξία σε πολλαπλές διαστάσεις:

Ως ένα από άκρο σε άκροΛύση κάρτας προσαρμογέα Ethernet MCX653106A-HDAT, δίνει τη δυνατότητα στους οργανισμούς να δημιουργήσουν δίκτυα υψηλής απόδοσης χωρίς απώλειες που αξιοποιούν πλήρως τις δυνατότητες των σύγχρονων φορτίων εργασίας AI, HPC και cloud.περιβάλλοντα παρόχου υπηρεσιών cloud, ή ειδικές ερευνητικές εγκαταστάσεις,NVIDIA Mellanox MCX653106A-HDATΠαρέχει με συνέπεια τις επιδόσεις, την αποτελεσματικότητα και την ευφυΐα που απαιτούν οι αρχιτέκτονες δικτύων για υποδομές επόμενης γενιάς.