Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Υπολογιστής εξυπηρέτησης Τεχνική λύση

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Τεχνική λύση: RDMA/RoCE Μεταφορά χαμηλής καθυστέρησης και βελτίωση της απόδοσης του διακομιστή

1. Ανάλυση του ιστορικού και των αναγκών του έργου

Τα σύγχρονα κέντρα δεδομένων υφίστανται μια θεμελιώδη μετατόπιση από "υπολογιστικές κεντρικές" σε "υπολογιστικές κεντρικές" αρχιτεκτονικές, που καθοδηγούνται από την εκρηκτική ανάπτυξη των φόρτων εργασίας AI/ML, των κατανεμημένων συστημάτων αποθήκευσης,και πλατφόρμες ανάλυσης σε πραγματικό χρόνοΣτο πλαίσιο αυτό, ο προσαρμογός δικτύου δεν είναι πλέον ένα παθητικό συστατικό συνδεσιμότητας, αλλά ένας κρίσιμος καθοριστικός παράγοντας της συνολικής απόδοσης της εφαρμογής.με τους περιορισμούς του πυρήνα-bypass και του protocol stack overheadΗ τεχνολογία αυτή έχει καταστεί ένα κύριο εμπόδιο, καταναλώντας έως και το 30% των κύκλων CPU, ενώ δεν μπορεί να παρέχει την καθυστέρηση σε επίπεδο μικροδευτερόλεπτου και την απόδοση γραμμικού ρυθμού που απαιτούνται από τα φορτία εργασίας επόμενης γενιάς.

Συγκεκριμένα, τρεις αλληλένδετες προκλήσεις απαιτούν μια αρχιτεκτονική απάντηση.Τα συστήματα αποθήκευσης που αξιοποιούν NVMe πάνω από υφάσματα (NVMe-oF) απαιτούν καθυστέρηση πρόσβασης κάτω των 100 μικροδευτερολέπτων για να αξιοποιήσουν πλήρως τα σύγχρονα flash media· κάθε καθυστέρηση που προκαλείται από το δίκτυο υπονομεύει άμεσα την απόδοση της αποθήκευσης.Τα διανεμημένα πλαίσια εκπαίδευσης τεχνητής νοημοσύνης όπως το PyTorch και το TensorFlow βασίζονται σε συχνές λειτουργίες all-reduce σε όλα τα γκρουπ GPUΤρίτον, η εικονικοποίηση και η εμπορευματοκιβώτιοποίηση εισάγουν πρόσθετα έξοδα ενσωμάτωσης,που απαιτεί έξυπνη εκφόρτωση υλικού για τη διατήρηση της απόδοσης σε κλίμακα. τοMellanox (NVIDIA Mellanox) MCX631102AN-ADATΟ προσαρμογός διακομιστή αντιμετωπίζει απευθείας αυτές τις απαιτήσεις, παρέχοντας μια ειδικά κατασκευασμένη βάση για υψηλής απόδοσης, χαμηλής καθυστέρησης δικτύωση κέντρου δεδομένων.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου και συστήματος

Η προτεινόμενη λύση υιοθετεί μια δικτυακή αρχιτεκτονική δύο επιπέδων που έχει σχεδιαστεί για να μεγιστοποιήσει τις δυνατότητες τουMCX631102AN-ADAT κάρτα προσαρμογή EthernetΣτο στρώμα φύλλου, οι διακόπτες SFP28 25GbE παρέχουν συνδεσιμότητα ToR (Top-of-Rack), με κάθε διακόπτη φύλλου να υποστηρίζει έως 48 θύρες.Παροχή μη αποκλειστικής συνδεσιμότητας οποιουδήποτε προς οποιονδήποτεΗ αρχιτεκτονική αυτή είναι βελτιστοποιημένη για τη μεταφορά RoCE v2 (RDMA over Converged Ethernet version 2),χρησιμοποιώντας τους εγγενείς μηχανισμούς ελέγχου συμφόρησης του προσαρμοστή και τις δυνατότητες PFC (Προτεραιότητα ελέγχου ροής) για τη διατήρηση των συνθηκών δικτύου χωρίς απώλειες.

Κάθε κόμβος υπολογισμού και αποθήκευσης είναι εξοπλισμένος με τοMCX631102AN-ADAT ConnectX-6 Lx διπλής θύρας 25GbE SFP28προσαρμογέα, με θύρες που έχουν ρυθμιστεί σε ενεργό-ενεργό λειτουργία για να παρέχουν τόσο υψηλή διαθεσιμότητα όσο και συνολικό εύρος ζώνης 50GbE. Ο διακομιστής υποδοχής συνδέεται με τον προσαρμογέα μέσω PCIe 4.0 x8,διασφάλιση επαρκούς εύρους ζώνης λεωφορείου για τη διατήρηση της πλήρους κυκλοφορίας γραμμήςΑπό την άποψη του λογισμικού, η αρχιτεκτονική ενσωματώνει τη συστοιχία οδηγών OFED (OpenFabrics Enterprise Distribution) της NVIDIA, παρέχοντας βελτιστοποιημένη υποστήριξη RoCE σε όλα τα κύρια λειτουργικά συστήματα.Για κόμβους αποθήκευσης, η αρχιτεκτονική ενσωματώνει στόχους NVMe-oF άμεσα προσβάσιμους μέσω RoCE, εξαλείφοντας το επίπεδο TCP/IP εξ ολοκλήρου από τη διαδρομή δεδομένων.

3Ο ρόλος και τα βασικά χαρακτηριστικά του MCX631102AN-ADAT στη λύση

ΗNVIDIA Mellanox MCX631102AN-ADATχρησιμεύει ως η θεμελιώδης διεπαφή δικτύου τόσο για τους τομείς υπολογισμού όσο και αποθήκευσης, διαδραματίζοντας τέσσερις κρίσιμους ρόλους εντός της συνολικής αρχιτεκτονικής.Η τεχνολογία αυτή θα μπορούσε να χρησιμοποιηθεί για την επίτευξη των στόχων που έχουν αναπτυχθεί από την εταιρεία.Ειδικότητες MCX631102AN-ADAT, τα οποία αποδεικνύουν υπο-1-μικροδευτερόλεπτο καθυστέρηση εφαρμογής σε εφαρμογή όταν συνδυάζονται με διακόπτες με δυνατότητα RoCE.

Δεύτερον, ο προσαρμογός λειτουργεί ως το τελικό σημείο μεταφοράς RDMA, εκφορτώνοντας ολόκληρη τη συστοιχία πρωτοκόλλου RDMA, συμπεριλαμβανομένης της εγγραφής μνήμης, της μετάφρασης διευθύνσεων και της επεξεργασίας ολοκλήρωσης, από τον host CPU.Αυτή η αποφόρτιση έχει ιδιαίτερο αντίκτυπο για τα φορτία εργασίας αποθήκευσης, μειώνοντας τη χρησιμοποίηση του CPU για τους αρχιστές NVMe-oF από περίπου 18% σε λιγότερο από 3% σε σύγκριση με τις υλοποιήσεις αποκλειστικά λογισμικού.το MCX631102AN-ADAT παρέχει hardware-based overlay offload για VXLAN και NVGRE, διασφαλίζοντας ότι η εικονική ενσωμάτωση δικτύων δεν μειώνει τις επιδόσεις, ένα κρίσιμο πλεονέκτημα για τις εγκατάστάσεις cloud-native.ο προσαρμογός υποστηρίζει SR-IOV (Single Root I/O Virtualization)Το σύστημα αυτό επιτρέπει έως και 256 εικονικές λειτουργίες ανά θύρα για αποτελεσματική απομόνωση πολλών ενοικιαστών χωρίς να διακυβεύεται η απόδοση.MCX631102AN-ADAT Ethernet λύση κάρτας προσαρμογέαενσωματώνεται απρόσκοπτα με την τεχνολογία GPUDirect Storage της NVIDIA, επιτρέποντας την άμεση μετακίνηση δεδομένων μεταξύ μνήμης GPU και απομακρυσμένων συσκευών αποθήκευσης NVMe μέσω του δικτύου.

Ο ακόλουθος πίνακας συνοψίζει τις βασικές τεχνικές προδιαγραφές που αφορούν την αρχιτεκτονική λύσης:

4. Συνιστώσεις ανάπτυξης και κλιμάκωσης με τυπική τοπολογία

Για τις αναπτύξεις greenfield, συνιστούμε μια προσέγγιση κλιμακώσεως τριών επιπέδων.με κάθε κόμβο εξοπλισμένο με το MCX631102AN-ADAT και και τις δύο θύρες συνδεδεμένες με τον ίδιο διακόπτη φύλλου για τη συγκέντρωση συνδέσεωνΣτην μέση βαθμίδα (64128 κόμβοι), η αρχιτεκτονική θα πρέπει να υιοθετήσει ένα σχέδιο δύο βαθμίδων σπονδυλικής στήλης,με τις διπλές θύρες κάθε κόμβου που συνδέονται με διαφορετικούς διακόπτες φύλλων για να παρέχουν τόσο απόδοση όσο και ανθεκτικότηταΣτην κλίμακα της επιχείρησης (256+ κόμβοι), η λύση συνιστά την ανάπτυξη μιας τριεπίπεδης αρχιτεκτονικής με ειδική διαίρεση υφασμάτων RoCE,απομόνωση της κυκλοφορίας αποθήκευσης από την κυκλοφορία υπολογιστών στο επίπεδο δικτύου, και αξιοποιώντας τηνΣυμφωνία MCX631102AN-ADATΗ NVIDIA Spectrum και οι 25GbE switches τρίτων.

Για περιβάλλοντα καφέ πεδίου, ο προσαρμογός παρέχει απρόσκοπτη συμβατότητα προς τα πίσω με οπτικές και καλώδια SFP + 10GbE, επιτρέποντας στους οργανισμούς να μεταναστεύουν σταδιακά.Δελτίο δεδομένων MCX631102AN-ADATπαρέχει λεπτομερείς πίνακες συμβατότητας για τις κύριες πλατφόρμες διακομιστών, συμπεριλαμβανομένων των οικογενειών Dell PowerEdge, HPE ProLiant και Supermicro SuperServer.Η ανάπτυξη του προσαρμογέα θα πρέπει να συντονίζεται με ενημερώσεις firmware για να διασφαλιστεί ότι όλοι οι κόμβοι εκτελούν την ίδια ελάχιστη έκδοση firmware για συνεπή συμπεριφορά RoCEΣυνιστούμε επίσης να χρησιμοποιήσετε τη διαρκή διαμόρφωση EEPROM του προσαρμοστή για τη διατήρηση των ρυθμίσεων σε όλες τις επανεκκινήσεις συστήματος, μειώνοντας το λειτουργικό κόστος κατά τη διάρκεια των παραθύρων συντήρησης.

5Λειτουργίες, παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

ΗMCX631102AN-ADATΠαρέχει ολοκληρωμένες δυνατότητες τηλεμετρίας και διαχείρισης μέσω των εργαλείων MLNX_OFED της NVIDIA. Για παρακολούθηση, συνιστούμε την ανάπτυξη των ακόλουθων επιχειρησιακών πρακτικών.Οι υπολογιστές ροής είναι διαθέσιμοι μέσω του υπολογιστή ροής.mlx5_coreΤο TSDB μπορεί να χρησιμοποιηθεί για την εκπλήρωση των προδιαγραφών του πυρήνα και να ενσωματωθεί με το Prometheus ή άλλες λύσεις TSDB.να χρησιμοποιεί την παρακολούθηση PFC (Προτεραιότητα Ελέγχου ροής) του προσαρμογέα για τον εντοπισμό και την αντιμετώπιση συμβάντων συμφόρησης δικτύου πριν επηρεάσουν τις επιδόσεις της εφαρμογήςΤρίτον, να εφαρμόζονται προειδοποιήσεις που βασίζονται σε όρια για τη θερμοκρασία του προσαρμοστή και την κατάσταση σύνδεσης PCIe για την προληπτική αναγνώριση της υποβάθμισης του υλικού.

Για την αντιμετώπιση προβλημάτων, η προηγμένη διάγνωση του προσαρμογέα, συμπεριλαμβανομένων των δοκιμών loopback ανά θύρα, των αρχείων καταγραφής εκπαίδευσης συνδέσμου και των στατιστικών συγχώνευσης διακοπής, παρέχει λεπτομερή ορατότητα σε ζητήματα απόδοσης..Συνιστούμε να καθορίσουμε μια βασική γραμμή της κανονικής λειτουργίας κατά την αρχική ανάπτυξη, καταγράφοντας βασικές μετρήσεις όπως μέση καθυστέρηση, απόδοση και χρήση CPU,να χρησιμεύσει ως αναφορά για μελλοντικές συγκρίσεις. Κατά την αξιολόγηση τωνMCX631102AN-ADAT τιμήΟι οργανισμοί θα πρέπει να λαμβάνουν υπόψη τις λειτουργικές εξοικονόμηση που προκύπτουν από τη μείωση της κατανάλωσης CPU και την απλούστευση των ροών εργασίας αντιμετώπισης προβλημάτων.

Στρατηγικές βελτιστοποίησηςMCX631102AN-ADAT κάρτα προσαρμογή EthernetΣτην διαμόρφωση του host, ρυθμίστε το μέγιστο μέγεθος ωφέλιμου φορτίου PCIe σε 512 bytes και ενεργοποιήστε τη μετριοποίηση διακοπών για να εξισορροπήσετε την καθυστέρηση και την απόδοση του CPU.να ρυθμίζουν τις προτεραιότητες των PFC με συνέπεια σε όλους τους διακόπτες και τους προσαρμογείς, συνιστούμε να αφιερώσουμε την προτεραιότητα 3 για την κίνηση RoCE και την προτεραιότητα 0 για την κίνηση διαχείρισηςΣτο επίπεδο εφαρμογής, ευθυγραμμίστε το βάθος ουράς RDMA με τα χαρακτηριστικά του φόρτου εργασίας: βαθύτερες ουρές ωφελούν φορτία εργασίας αποθήκευσης υψηλής απόδοσης,ενώ οι ρηχές ουρές μειώνουν την καθυστέρηση για την επεξεργασία ευαίσθητων συναλλαγών. Η λεπτομερήΕιδικότητες MCX631102AN-ADATνα παρέχει ειδικές οδηγίες για τη ρύθμιση των παραμέτρων αυτών σε διάφορες πλατφόρμες λειτουργικού συστήματος.

6Σύνοψη και αξιολόγηση της αξίας

ΗMellanox (NVIDIA Mellanox) MCX631102AN-ADATπαρέχει μια αρχιτεκτονική λύση που αντιμετωπίζει τις θεμελιώδεις προκλήσεις της σύγχρονης δικτύωσης κέντρων δεδομένων: παροχή καθυστέρησης σε κλίμακα μικροδευτερόλεπτων, ταχεία μεταφορά RDMA μέσω υλικού,και σταθερή απόδοση 25GbE, μειώνοντας ταυτόχρονα το κόστος λειτουργίας της CPUΗ εφαρμογή αυτή θα έχει ως στόχο να βελτιώσει την ποιότητα της λειτουργίας του υπολογιστή.MCX631102AN-ADAT Ethernet λύση κάρτας προσαρμογέαμειώνει την κατανάλωση CPU που σχετίζεται με το δίκτυο κατά περίπου 80%, βελτιώνει την καθυστέρηση πρόσβασης στην αποθήκευση κατά περισσότερο από 80%,και παρέχει προβλέψιμες επιδόσεις σε διαφορετικές συνθήκες φορτίου μέσω διαχείρισης συμφόρησης με βάση το υλικό.

Από την άποψη της επιχειρηματικής αξίας,ο προσαρμογός επιτρέπει στους οργανισμούς να μεγιστοποιήσουν τις υφιστάμενες επενδύσεις σε διακόπτες 25GbE, παρέχοντας παράλληλα επιδόσεις που προηγουμένως ήταν εφικτές μόνο με λύσεις 40GbE ή 100GbE. τοMCX631102AN-ADAT προς πώλησηΗ αξιολόγηση αποδεικνύει σταθερά θετική απόδοση επένδυσης εντός 12-18 μηνών, λόγω των μειωμένων απαιτήσεων αριθμού διακομιστών (λόγω της υψηλότερης απόδοσης ανά κόμβο) και των χαμηλότερων λειτουργικών γενικών δαπανών.Για οργανισμούς που κατασκευάζουν ή εκσυγχρονίζουν δίκτυα κέντρων δεδομένων, το MCX631102AN-ADAT αντιπροσωπεύει όχι μόνο μια σταδιακή αναβάθμιση, αλλά μια θεμελιώδη βελτίωση της αποτελεσματικότητας του δικτύου.