Η Mellanox (NVIDIA Mellanox) MCX653105A-HDAT Server Adapter Τεχνική λύση

Τα σύγχρονα κέντρα δεδομένων υφίστανται μια θεμελιώδη μετατόπιση από υπολογιστικά κεντρικά σε κεντρικά αρχιτεκτονικές δεδομένων.και περιβάλλοντα διαπραγμάτευσης υψηλής συχνότητας επιβάλλουν αυστηρές απαιτήσεις για την καθυστέρηση δικτύου και την απόδοση του διακομιστήΟι παραδοσιακές στοίβες TCP/IP δημιουργούν σημαντικές διακοπές CPU και αλλαγές περιεχομένου κάτω από υψηλό εύρος ζώνης, καταναλώντας πάνω από το 30% της ισχύος υπολογιστών μόνο για το overhead του δικτύου.Τα αναδυόμενα πρωτόκολλα αποθήκευσης όπως το NVMe-oF απαιτούν καθυστέρηση από άκρο σε άκρο σε κλίμακα μικροδευτερολέπτων για να απελευθερώσουν το δυναμικό απόδοσής τουςΓια την αντιμετώπιση αυτών των προκλήσεων, οι επιχειρήσεις χρειάζονται μια NIC διακομιστή η οποία αποφορτίζει την επεξεργασία δικτύου και επιτρέπει την άμεση πρόσβαση στη μνήμηMellanox (NVIDIA Mellanox) MCX653105A-HDATΠαρέχει.

Οι βασικές απαιτήσεις που προσδιορίζονται σε τυπικά σενάρια ανάπτυξης περιλαμβάνουν: υπο-2μs καθυστέρηση σε επίπεδο εφαρμογής, ταχύτητα ρεύματος 100GbE ανά θύρα,εξοπλισμός για RoCE (RDMA μέσω Converged Ethernet), την απρόσκοπτη ενσωμάτωση με τους υφιστάμενους διακομιστές PCIe 4.0 και την ολοκληρωμένη τηλεμετρία για την προληπτική διαχείριση της συμφόρησης.MCX653105A-HDATαπευθύνεται σε κάθε ένα από αυτά με την αρχιτεκτονική του ConnectX-6.

Η προτεινόμενη λύση υιοθετεί ένα δι-επίπεδο υλικό σπονδυλικής στήλης με υποστήριξη RoCE, εξαλείφοντας τα στενά σημεία του TCP/IP διατηρώντας την οικονομία του Ethernet.Συμπλέκτες κορυφής ράφι (NVIDIA σειρά SN4000 ή ισοδύναμοι συμπλέκτες PFC) που διασυνδέουν τους κόμβους υπολογισμού και αποθήκευσης. Κάθε κόμβος υπολογισμού ενσωματώνει τοΠίνακας προσαρμογής MCX653105A-HDAT EthernetΟι κόμβοι αποθήκευσης αναπτύσσουν τον ίδιο προσαρμογέα για να εξυπηρετούν τους στόχους NVMe-oF απευθείας μέσω RDMA.

Αρχιτεκτονικά, ηNVIDIA Mellanox MCX653105A-HDATθέσεις ως βασικός επιταχυντής πεδίου δεδομένων, χειριζόμενος όλες τις Ε/Υ δικτύου από εικονικές μηχανές, δοχεία και φορτία εργασίας γυμνού μετάλλου.Το επίπεδο ελέγχου παραμένει στην κύρια CPU, αλλά απαλλάσσεται από τις εργασίες μετακίνησης δεδομένων· αυτός ο διαχωρισμός είναι η ουσία του σχεδιασμού που υποστηρίζεται από RDMA. Για τις ευρείας κλίμακας αναπτύξεις (100+ κόμβους), ένας ειδικός τομέας ελέγχου συμφόρησης RoCE ρυθμίζεται χρησιμοποιώντας το DCQCN (Data Center Quantized Congestion Notification),με ξεχωριστές δεξαμενές αποθήκευσης για την κυκλοφορία υπολογιστών και αποθήκευσης.

ΗMCX653105A-HDAT ConnectX προσαρμογέα κάρτα δικτύου PCIeεξυπηρετεί τέσσερις κρίσιμες λειτουργίες σε αυτή την αρχιτεκτονική:

• Εφαρμογή των προδιαγραφών που αναφέρονται στην παράγραφο 1 στοιχείο β)Εφαρμόζει RDMA χωρίς να απαιτείται εξειδικευμένος διακόπτης ή υφάσματα.
• PCIe 4.0 x16 Διασύνδεση:Παρέχει έως και 200Gb / s αμφίδρομο εύρος ζώνης, εξαλείφοντας τα μειονεκτήματα του host bus και αξιοποιώντας πλήρως τις διπλές θύρες 100GbE.
• Επιταχυνόμενη μετατροπή και επεξεργασία πακέτων (ASAP2):Υποστηρίζει ευέλικτη προσαρμογή αγωγού για VXLAN / NVGRE εκφόρτωση, επιτάχυνση VirtIO και προγραμματισμένη τηλεμετρία.
• Επιτάχυνση αποθήκευσης:Εγκατάσταση υλικού για NVMe-oF (TCP και RoCE), δημιουργία/επιβεβαίωση υπογραφής T10-DIF και επιτάχυνση κωδικοποίησης διαγραφής.

Σύμφωνα με τηνΔελτίο δεδομένων MCX653105A-HDAT, ο προσαρμογός υποστηρίζει επίσης ασφαλή εκκίνηση, ρίζα εξοπλισμού εμπιστοσύνης και κρυπτογράφηση IPsec / TLS σε γραμμή έως 100GbE.Ειδικές προδιαγραφές MCX653105A-HDAT, οι μηχανικοί θα σημειώσουν διπλό πλάτος, παθητική ψύξη και ευρύ εύρος θερμοκρασίας λειτουργίας (0 °C έως 55 °C), καθιστώντας το κατάλληλο για πυκνά περιβάλλοντα διακομιστών.

Τυπική Τοπολογία (παράδειγμα ομάδας 1024 κόμβων):
- στρώμα φύλλου: 16x διακόπτες φύλλου, το καθένα με 48x 100GbE downlink ports + 8x 400GbE uplinks
- Σπονδυλική στρώση: 4x σπονδυλικές διακόπτες, μη αποκλειστικό ύφασμα 400GbE
- Δύο κόμβοι υπολογισμού.MCX653105A-HDATανά κόμβο (προαιρετικά ενεργός-ενεργός ή ενεργός σε αναμονή)
- Σημεία αποθήκευσης: 1xMCX653105A-HDATανά κόμβο, εξυπηρετώντας χώρους ονομάτων NVMe μέσω RDMA

Βήματα ανάπτυξης:ΕπαλήθευσηΣυμφωνία MCX653105A-HDATΕγκαταστήστε το πλαίσιο MLNX_OFED ή DOCA (ελάχιστη έκδοση 5.8).Διαμορφώστε σύνδεση ή πολλαπλές διαδρομές για εφεδρικότητα διπλής θύρας. Τέλος, επικυρώστε χρησιμοποιώντας τη σουίτα perftest (ib_write_bw, ib_read_lat).

Σημειώσεις για την κλιμάκωση:Για 2000+ κόμβους, εφαρμόστε προσαρμοστική δρομολόγηση και έλεγχο συμφόρησης σε επίπεδο υλικού.Λύση κάρτας προσαρμογέα Ethernet MCX653105A-HDATΗ μέθοδος αυτή εφαρμόζεται σε όλα τα συστήματα ηλεκτρικής ενέργειας.MCX653105A-HDAT τιμήΤο TCO είναι συνήθως 6-12 μήνες λόγω της ενοποίησης των διακομιστών και των μειωμένων απαιτήσεων αριθμού πυρήνων CPU.MCX653105A-HDAT προς πώλησηθα πρέπει να επικοινωνούν με τους περιφερειακούς διανομείς για τις τιμές όγκου και τις επιλογές προσαρμογής firmware.

Παρακολούθηση και τηλεμετρία:ΗNVIDIA Mellanox MCX653105A-HDATΟι βασικές μετρήσεις που πρέπει να παρακολουθούνται: αναλογία σήμανσης συμφόρησης RoCE, αριθμός πτώσης του αποθηκευτικού αποθέματος, σφάλματα σύνδεσης PCIe και πλαίσια παύσης λιμένων.Η ενσωμάτωση με το Prometheus+Grafana υποστηρίζεται μέσω της βιβλιοθήκης διαχείρισης NVIDIA (NVML).

Οδηγίες βελτιστοποίησης:Ορίστε τις παραμέτρους DCQCN (cnp_802p_prio=3, rpg_time_reset=300, κλπ.) με βάση το φόρτο εργασίας, πιο επιθετικό για αποθήκευση, συντηρητικό για υπολογισμό.Ο ΔΣΜ/ΟΔΑ για μικτά φορτία εργασίαςΧρησιμοποιήστε το συνδεδεμένο εργαλείο mlxconfig για να ρυθμίσετε το μέγιστο μέγεθος ωφέλιμου φορτίου PCIe (256B βέλτιστο για τους περισσότερους διακομιστές).

Κοινή αντιμετώπιση προβλημάτων:Το χτύπημα της θύρας υποδηλώνει συνήθως ασυμφωνίες SFP/καλώδιοΣυμφωνία MCX653105A-HDATΗ χαμηλή απόδοση RDMA συχνά δείχνει ανεπαρκή διαμόρφωση ECN στους διακόπτες.Χρησιμοποιήστε το ibdiagnet για την επικύρωση του υφάσματος και το dump_emad για την επιθεώρηση των εσωτερικών μητρώων προσαρμογήΓια τα διαρκή ζητήματα, τοΔελτίο δεδομένων MCX653105A-HDATπαρέχει διαγνωστικούς πίνακες και πίνακες κωδικών σφαλμάτων σε επίπεδο μητρώου.

ΗMCX653105A-HDATαντιπροσωπεύει ένα ώριμο, έτοιμο για παραγωγή δομικό στοιχείο για δίκτυα κέντρων δεδομένων χαμηλής καθυστέρησης και υψηλής απόδοσης.επιτρέπει την ανάπτυξη RDMA/RoCE σε τυποποιημένη υποδομή EthernetΤα βασικά αποτελέσματα αξίας περιλαμβάνουν: μείωση της CPU κατά 50-70% για εργασίες δικτύωσης, καθοριστική καθυστέρηση υπο-2μs, απρόσκοπτη ολοκλήρωση NVMe-oF και γραμμική επεκτασιμότητα σε χιλιάδες κόμβους.Λύση κάρτας προσαρμογέα Ethernet MCX653105A-HDATΗ αξιολόγηση της ποιότητας των υλικών που χρησιμοποιούνται για τη διατήρηση της ποιότητας των υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών που χρησιμοποιούνται για την κατασκευή υλικών.Ειδικές προδιαγραφές MCX653105A-HDATΓια την απόδειξη της έννοιας ή το σχεδιασμό της εγκατάστασης σε κλίμακα ράφους, ο εν λόγω προσαρμογός παρέχει ποσοτικές βελτιώσεις τόσο στις επιδόσεις όσο και στο συνολικό κόστος ιδιοκτησίας.