NVIDIA Mellanox MMA4Z00-NS Τεχνική λύση οπτικού δέκτη κέντρου δεδομένων

NVIDIA Mellanox MMA4Z00-NS Τεχνική λύση οπτικού δέκτη κέντρου δεδομένων. Εξισορρόπηση εύρους ζώνης και απόστασης σε συνδέσεις ράκ με ράκ και μεταξύ εγκαταστάσεων.

1. Προηγούμενο έργο & Ανάλυση απαιτήσεων

Καθώς οι φόρτοι εργασίας τεχνητής νοημοσύνης (AI) και υπολογιστών υψηλών επιδόσεων (HPC) συνεχίζουν να κλιμακώνονται,η υποκείμενη υποδομή δικτύου πρέπει να εξελιχθεί ώστε να υποστηρίζει ταχύτητες πρόσβασης 800G Ethernet και 400G InfiniBandΟι αρχιτέκτονες κέντρων δεδομένων αντιμετωπίζουν τώρα μια κρίσιμη πρόκληση σχεδιασμού του φυσικού στρώματος: how to deliver 800G bandwidth across varying distances — from intra-rack connections (2–5 meters) to cross-aisle links (30–60 meters) and even inter-row or inter-building connections (up to 100 meters) — without proliferating transceiver typesΗ παραδοσιακή προσέγγιση της επιλογής διακριτών οπτικών μονάδων για κάθε επίπεδο απόστασης (π.χ. SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια, SR8 για κοντινή εμβέλεια και SR8 για κοντινή εμβέλεια).DR8/FR8 για εκτεταμένη εμβέλεια) εισάγει επιχειρησιακή πολυπλοκότητα και αυξάνει τον κίνδυνο λανθασμένης παροχής, όπου μια μονάδα μικρής εμβέλειας αναπτύσσεται ακούσια σε μια μεγαλύτερη σύνδεση, προκαλώντας απρόβλεπτα ποσοστά σφάλματος bits (BER).

Η πρόκληση αυτή επιδεινώνεται από τρεις ταυτόχρονες τάσεις της βιομηχανίας.η ευρεία υιοθέτηση του OSFP (Octal Small Form Factor Pluggable) σε διακόπτες Ethernet και InfiniBand έχει δημιουργήσει μια κοινή διεπαφή, αλλά όχι όλοι οι δέκτες δέκτη OSFP παρέχουν σταθερή απόδοση σε πολυμέθοδο ίνες με ταχύτητες 800G PAM4.επειδή οι διακόπτες υψηλής πυκνότητας με 32 ή 64 θύρες OSFP μπορούν να καταναλώσουν σημαντική ισχύ εάν οι δέκτες δεν είναι βελτιστοποιημένοιΤρίτον, οι επιχειρησιακές ομάδες απαιτούν ομοιόμορφες διαγνωστικές δυνατότητες σε όλους τους οπτικούς συνδέσμους για την απλούστευση της παρακολούθησης και τη μείωση του μέσου χρόνου επισκευής (MTTR).Απαιτείται μια δομημένη τεχνική λύση που να τυποποιεί σε ένα ενιαίο, ένας καλά χαρακτηρισμένος δέκτης 800G SR8 ενώ παράλληλα παρέχει σαφείς κατευθυντήριες γραμμές για τον προγραμματισμό απόστασης, την επικύρωση του προϋπολογισμού σύνδεσης και την προληπτική διαχείριση της υγείας τόσο σε υφάσματα Ethernet όσο και InfiniBand.

2Συνολικό σχεδιασμό αρχιτεκτονικής δικτύου / συστήματος

Η προτεινόμενη αρχιτεκτονική υιοθετεί μια τοπολογία δύο επιπέδων με πόρτες 800G OSFP που χρησιμεύουν ως το κύριο περιβάλλον πρόσβασης για τους κόμβους υπολογισμού GPU και τα συστήματα αποθήκευσης.Συνήθως εξοπλισμένες με 32 ή 64 θύρες OSFP, συνδέεται με προγενέστερους σπονδυλικούς διακόπτες μέσω 800G ή 1.6T uplinks, ενώ οι προγενέστερες θύρες κατανέμονται σε κόμβους υπολογισμού και ελεγκτές αποθήκευσης που κατανέμονται σε πολλαπλά ράκ και διαδρόμους.Για τη μεγιστοποίηση της αξιοποίησης των λιμένων και τη μείωση του αποτυπώματος των διακόπτες, η αρχιτεκτονική αξιοποιεί διαμορφώσεις διακοπής 2 × 400G: μια ενιαία θύρα 800G OSFP χωρίζεται σε δύο ανεξάρτητες συνδέσεις 400G, η καθεμία από τις οποίες τελειώνει σε ξεχωριστό διακομιστή GPU ή τελικό σημείο αποθήκευσης.Αυτό το σχέδιο διπλασιάζει αποτελεσματικά την αποτελεσματική πυκνότητα του λιμένα του στρώματος φύλλου, η οποία είναι ιδιαίτερα πολύτιμη σε περιβάλλοντα πλούσια σε GPU όπου ο χώρος στα rack είναι υψηλό.

Η φυσική καλωδίωση μεταξύ των διακόπτες και των τερματικών σημείων υλοποιείται χρησιμοποιώντας τοNVIDIA Mellanox MMA4Z00-NSως ο τυποποιημένος οπτικός δέκτης 800G για όλες τις συνδέσεις πολυμέθοδος ινών έως 65 μέτρα.Δοκιμαστικός υπολογιστήςλειτουργεί σε πολυμέθοδο ίνες OM4 (50 μέτρα) και OM5 (70 μέτρα) χρησιμοποιώντας 8 παράλληλες λωρίδες με 100G PAM4 ανά λωρίδα,συμμορφώνεται με τις προδιαγραφές Ethernet 800GBASE-SR8 και 400G-SR4 καθώς και με τα ποσοστά δεδομένων InfiniBand HDR και NDRΗ δυνατότητα διπλού πρωτοκόλλου της ενότητας ̇ που υποστηρίζει τόσο το Ethernet όσο και το InfiniBand χωρίς επαναδιαμόρφωση firmware ̇ επιτρέπει μια ενοποιημένη οπτική στρατηγική σε ετερογενή υφάσματα,μείωση του αριθμού των SKU δέκτη-διαβιβαστή που απαιτούνται σε περιβάλλοντα μικτού πρωτοκόλλου.

Η αρχιτεκτονική ενσωματώνει επίσης ένα τυποποιημένο σχεδιασμό εγκαταστάσεων ινών με τη χρήση συνδέσεων MPO-12 και ευρυζωνικής πολυμέτωπης ινής OM5 για όλες τις νέες εγκαταστάσεις,με διατάξεις για την επαναχρησιμοποίηση της υφιστάμενης υποδομής OM4 για συντομότερες συνδέσεις, εφόσον το επιτρέπει το περιθώριο σύνδεσηςΟ σχεδιασμός αυτός διασφαλίζει ότι οποιαδήποτε θύρα OSFP μπορεί να συνδεθεί με οποιοδήποτε τελικό σημείο εντός του ορίου εμβέλειας 65 μέτρων, παρέχοντας μέγιστη ευελιξία για την επανεξισορρόπηση της χωρητικότητας και τους κύκλους ανανέωσης υλικού.Ο οδηγός σχεδιασμού παραπέμπει στηνΠροδιαγραφές MMA4Z00-NSγια την ακτίνα κάμψης (δυναμική τουλάχιστον 30 mm), την καθαρότητα των συνδέσμων (ανάλογα με την IEC 61300-3-35) και τους προϋπολογισμούς απώλειας εισαγωγής (μέγιστο σύνολο 3,0 dB για ολόκληρο το σύνδεσμο, συμπεριλαμβανομένων των συνδέσμων και των πλέξεων).

3Ο ρόλος και τα βασικά χαρακτηριστικά του NVIDIA Mellanox MMA4Z00-NS στην λύση

Μέσα σε αυτή την αρχιτεκτονική, ηΔοκιμαστικός υπολογιστήςλειτουργεί ως η τυποποιημένη οπτική διεπαφή που συνδέει το ηλεκτρικό πεδίο του διακόπτη / προσαρμογέα με την υποδομή οπτικών ινών.Τα βασικά τεχνικά χαρακτηριστικά της είναι κρίσιμα για την επιτυχία της στρατηγικής της ενιαίας μονάδας:

• Λειτουργία διπλού πρωτοκόλλου:Υποστηρίζει τόσο το 800G Ethernet (800GBASE-SR8) όσο και το 400G InfiniBand (NDR) με αυτόματη ανίχνευση, επιτρέποντας ένα ενοποιημένο αποθεματικό δέκτη σε ετερογενείς υφάσματα.
• Ικανότητα εξόδου 2×400G:ΗMMA4Z00-NS 2x400G InfiniBand/EthernetΗ λειτουργία αυτή επιτρέπει σε μια ενιαία θύρα OSFP να τροφοδοτεί δύο ανεξάρτητα τερματικά σημεία 400G χρησιμοποιώντας ένα σύνολο καλωδίων MPO-12 έως 2×MPO-8, εξαλείφοντας την ανάγκη για εξωτερικές μονάδες εξαγωγής.
• 850nm VCSEL με 8 λωρίδες:Παρέχει αξιόπιστη οπτική ισχύ εξόδου (τυπικά -2,0 έως +4,0 dBm ανά λωρίδα) με χαμηλό σχετικό θόρυβο έντασης (RIN), υποστηρίζοντας διαγράμματα καθαρού οφθαλμού μέσω πολυμέτωπης ινών σε 100G PAM4.
• Σύνολο δέκτη PIN υψηλής ευαισθησίας:Τυπική ευαισθησία -5,5 dBm ανά λωρίδα, παρέχοντας περιθώριο σύνδεσης τουλάχιστον 3,0 dB στο OM5 σε απόσταση 70 μέτρων, λαμβάνοντας υπόψη τις απώλειες συνδέσμων και τη γήρανση.
• Απόδοση ενέργειας:Τυπική κατανάλωση κάτω από 10,5 W στη λειτουργία 800G και περίπου 8,2 W στη λειτουργία διακοπής 2 × 400 G, επιτρέποντας πυκνή διαμόρφωση θύρας χωρίς υπέρβαση των θερμικών προϋπολογισμών.
• Ενσωματωμένη ψηφιακή διαγνωστική παρακολούθηση (DDM):Πληροφορία σε πραγματικό χρόνο της ισχύος Tx, της ισχύος Rx, της θερμοκρασίας, της τάσης και του ρεύματος παρεκκλίσεων για κάθε λωρίδα μέσω της τυποποιημένης διεπαφής διαχείρισης I2C,που επιτρέπουν την προληπτική ανίχνευση σφαλμάτων και την αντιμετώπιση προβλημάτων σε επίπεδο λωρίδας.
• Ευρύ εύρος θερμοκρασίας λειτουργίας:θερμοκρασία θήκης από 0°C έως 70°C, εξασφαλίζοντας αξιόπιστη λειτουργία σε περιβάλλοντα υψηλής πυκνότητας σε ράφια με αυξημένη θερμοκρασία περιβάλλοντος.

Τα χαρακτηριστικά αυτά τεκμηριώνονται πλήρως στοΠίνακας δεδομένων MMA4Z00-NS, το οποίο περιλαμβάνει μάσκες διαγράμματος οφθαλμού, καμπύλες ανοχής στην έξαρση και μηχανικά σχέδια για ενσωμάτωση σε εργαλεία διάταξης ντουλαπιών. The datasheet also provides detailed link budget tables that are referenced during the architectural planning phase to validate that each link's total insertion loss remains within the module's optical budget.

4Συστάσεις ανάπτυξης και κλιμάκωσης (με χαρακτηριστική περιγραφή τοπολογίας)

Για την αρχική ανάπτυξη, συνιστούμε μια δομημένη προσέγγιση ζώνης που χαρτογραφεί τα επίπεδα απόστασης σε τυποποιημένους τύπους καλωδίωσης και εξασφαλίζει συνεπή περιθώριο σύνδεσης σε όλες τις συνδέσεις.Η ακόλουθη τυπική τοπολογία χρησιμοποιείται για έναν 32-port leaf switch που εξυπηρετεί 64 κόμβους GPU σε οκτώ ντουλάπια (8 κόμβοι ανά ντουλάπι), με αποστάσεις μεταξύ των ντουλαπιών που κυμαίνονται από 5 έως 50 μέτρα:

• Ζώνη Α (μέσα στη σιδηροδρομική γραμμή, 2,5 μέτρα):Απευθείας MPO-12 καλώδια patch από το Leaf Switch (στο ίδιο ντουλάπι) στους κόμβους GPU.
• Ζώνη Β (συγκριτικά ντουλάπια, 820 μέτρα):Δομημένη καλωδίωση OM5 μέσω δομοειδών υπερυψωμένων ινών με ενδιάμεσες πίνακες επικάλυψης.
• Ζώνη Γ (Διαδρόμος / ανάμεσα στις σειρές, 25-50 μέτρα):Προετοιμασμένα κύτταρα OM5 με συνδετήρες που έχουν γυαλιστεί από το εργοστάσιο, διαδρομή κάτω από ανυψωμένα πατώματα.
• Ζώνη D (Μεταξύ κτιρίων πανεπιστημιούπολης, 50-65 μέτρα):Χρησιμοποιείται μόνο για σύνδεσεις κοντινών πανεπιστημιούπολων όπου υπάρχει υποδομή OM5.και επαλήθευση του περιθωρίου ισχύος κατά την έναρξη λειτουργίας.

Η κλιμάκωση πέρα από μια ενιαία κάψουλα ακολουθεί τις ίδιες αρχές ζώνης, με την προσθήκη ενδιάμεσων διακόπτες συγκέντρωσης που τερματίζουν τις συνδέσεις πρόσβασης 800G από πολλαπλές κάψουλες.MMA4Z00-NS 800G OSFP SR8 λύση δέκτηΧρησιμοποιεί ένα ενιαίο SKU με δυνατότητα διπλού πρωτοκόλλου, η επέκταση δεν απαιτεί πρόβλεψη τύπων δέκτη-διαβιβαστή ανά πρωτόκολλο ή απόσταση.Αυτό απλοποιεί τη εφοδιαστική και επιτρέπει στην ομάδα επιχειρήσεων να διατηρεί ένα μικρό απόθεμα αποθεμάτων ανταλλακτικών δέκτων (συνήθως 5% των μονάδων που αναπτύσσονται) για ταχεία αντικατάσταση κατά τη διάρκεια περιστατικών συντήρησης.

Για τον προγραμματισμό των αποστάσεων, ο ακόλουθος πίνακας παρέχει κατευθυντήριες γραμμές για τη μέγιστη εμβέλεια με βάση τον τύπο ινών και τον προϋπολογισμό σύνδεσης:

Όταν τοποθετούνται σε αποστάσεις που πλησιάζουν το μέγιστο εύρος, συνιστούμε να πραγματοποιείται μέτρηση οπτικής ισχύος κατά την έναρξη λειτουργίας με τη χρήση μιας φωτεινής πηγής και ενός μετρητή ισχύος,Η μέτρηση της ζημίαςΠίνακας δεδομένων MMA4Z00-NSΑυτό το στάδιο επικύρωσης διασφαλίζει ότι τυχόν ελαττώματα καλωδίωσης ή μόλυνση εντοπίζονται πριν από την έναρξη της παραγωγής του συνδέσμου.

5Λειτουργίες και συντήρηση: Παρακολούθηση, αντιμετώπιση προβλημάτων και βελτιστοποίηση

Ο λειτουργικός κύκλος ζωής της οπτικής υποδομής που βασίζεται στο MMA4Z00-NS απαιτεί συστηματική προσέγγιση για την παρακολούθηση και τη διαχείριση σφαλμάτων, αξιοποιώντας τις δυνατότητες DDM σε επίπεδο λωρίδας της ενότητας.Συνιστούμε την ενσωμάτωση της διεπαφής διαχείρισης I2C στο κεντρικό σύστημα διαχείρισης δικτύου (NMS) χρησιμοποιώντας το πρότυπο CMIS (Common Management Interface Specification) για τις μονάδες OSFPΤα βασικά όρια για τη διαμόρφωση προληπτικών ειδοποιήσεων περιλαμβάνουν:

• Δυναμική υποβάθμισης Tx:Προειδοποιεί εάν η ισχύς εξόδου σε οποιαδήποτε λωρίδα μειωθεί κατά περισσότερο από 2,0 dB από τη ονομαστική, γεγονός που υποδηλώνει πιθανή γήρανση του VCSEL ή μόλυνση των συνδέσμων στην πλευρά της μετάδοσης.
• Rx περιθώριο ισχύος:Προειδοποίηση εάν η παραληφθείσα ισχύς σε οποιαδήποτε λωρίδα πλησιάζει τα -5,0 dBm (με ευαισθησία στα -5,5 dBm), υποδεικνύοντας υπερβολική απώλεια σύνδεσης, βλάβη καλωδίου ή ελαττωματική ευθυγράμμιση συνδέσμου MPO.
• Εκδρομές θερμοκρασίας:Προειδοποιεί εάν η θερμοκρασία του περιβλήματος υπερβαίνει τους 65°C, γεγονός που υποδηλώνει παρεμπόδιση της ροής αέρα, βλάβη του ανεμιστήρα ή αύξηση της θερμοκρασίας του περιβάλλοντος.
• Στρίψιμο ρεύματος με παρεκκλίσεις:Παρακολούθηση των αλλαγών του ρεύματος παρακλίσεως λέιζερ με την πάροδο του χρόνου· μια διαρκής αύξηση άνω του 30% του ονομαστικού σε οποιαδήποτε λωρίδα μπορεί να υποδηλώνει υποβάθμιση του VCSEL.

Σε περίπτωση υποβάθμισης ή βλάβης συνδέσμου, πρέπει να ακολουθείται ένα δομημένο πρωτόκολλο αντιμετώπισης προβλημάτων:

1. Ελέγξτε τις ενδείξεις DDM σε επίπεδο λωρίδας για να απομονώσετε ποια από τις 8 λωρίδες παρουσιάζει υποβάθμιση.Προδιαγραφές MMA4Z00-NS.
2. Ελέγξτε τις συνδέσεις MPO και στα δύο άκρα χρησιμοποιώντας μικροσκόπιο άκρου· καθαρίστε εάν ανιχνευθεί μόλυνση σύμφωνα με τα πρότυπα IEC 61300-3-35, δίνοντας ιδιαίτερη προσοχή σε οποιαδήποτε επιβαλλόμενη λωρίδα.
3. Δοκιμάστε τη σύνδεση με ένα γνωστό καλά MMA4Z00-NS δέκτη για να επιβεβαιώσετε αν το σφάλμα βρίσκεται στη μονάδα ή στο εργοστάσιο ινών.
4. Εάν το πρόβλημα επιμένει σε μια συγκεκριμένη λωρίδα, εκτελέστε δοκιμή OTDR ή χρησιμοποιήστε διαγνωστικό loopback για να απομονώσετε το ελάττωμα είτε στην πορεία της ινώδους ίνα είτε στην εσωτερική οπτική πορεία του δέκτη.

Οι δυνατότητες βελτιστοποίησης περιλαμβάνουν περιοδικούς ελέγχους διαχείρισης καλωδίων για να εξασφαλιστεί η συμμόρφωση με την ελάχιστη ακτίνα κάμψης και για να επαληθευθεί ότι η ανακούφιση από την πίεση των συνδετήρων MPO δεν διακυβεύεται.γιατί ητιμή MMA4Z00-NSείναι ανταγωνιστική με άλλες εγκεκριμένες ενότητες 800G SR8,συνιστούμε να διατηρούμε ένα μικρό απόθεμα εφεδρικών δέκτων (περίπου 5% του συνόλου των μονάδων που αναπτύσσονται) για να επιτρέψουμε την ταχεία αντικατάσταση και να ελαχιστοποιήσουμε το MTTRΓια τις ευρείας κλίμακας αναπτύξεις, εξετάστε την εφαρμογή αυτοματοποιημένων οπτικών πινάκων ελέγχου υγείας που συγκεντρώνουν δεδομένα DDM σε επίπεδο λωρίδας σε όλους τους συνδέσμους, επιτρέποντας την προβλεπτική συντήρηση και τον προγραμματισμό της ικανότητας.

6Συνοπτική & Αξιολόγηση

ΗNVIDIA Mellanox MMA4Z00-NS- βασισμένη τεχνική λύση παρέχει μια ρεαλιστική, πεδίο επικυρωμένη μεθοδολογία για την εξισορρόπηση εύρους ζώνης και απόσταση σε όλα τα δίκτυα πρόσβασης κέντρων δεδομένων 800G.Δοκιμαστικός υπολογιστήςΔοκιμαστικός υπολογιστήςΗ αρχιτεκτονική εξαλείφει την πολυπλοκότητα διαχείρισης πολλαπλών SKU για διαφορετικά επίπεδα και πρωτόκολλα απόστασης, μειώνει το απόθεμα ανταλλακτικών και απλοποιεί τον προγραμματισμό της εγκατάστασης.Η τεχνολογία VCSEL 850nm της ενότητας, σε συνδυασμό με συστοιχία δέκτη PIN υψηλής ευαισθησίας, παρέχει αξιόπιστες επιδόσεις σε πολυμέθοδο ίνες OM4 και OM5 έως 70 μέτρα,καλύπτει τη συντριπτική πλειοψηφία των συνδέσεων εντός κέντρου δεδομένων, υποστηρίζοντας ταυτόχρονα τα υφάσματα Ethernet και InfiniBand.

Οι βασικές μετρήσεις αξίας από συγκρίσιμες αναπτύξεις περιλαμβάνουν:

• Μείωση αποθεμάτων:Μια ενιαία μονάδα SKU δέκτη-αποδέκτη αντικαθιστά τέσσερις αριθμούς εξαρτημάτων που είναι ειδικοί για την απόσταση / το πρωτόκολλο (π.χ. SR8, SR4, DR8, FR8), μειώνοντας το λογιστικό γενικό κόστος κατά 60~70%.
• Απόδοση ενέργειας:Σε < 10,5W στη λειτουργία 800G και < 8,2W στη λειτουργία διακοπής 2 × 400G, το MMA4Z00-NS συμβάλλει σε χαμηλότερα κόστη ψύξης και βελτιωμένη PUE.
• Αξιόπιστη λειτουργία:Η προληπτική παρακολούθηση με τη δυνατότητα DDM σε επίπεδο λωρίδας μειώνει το MTTR έως και κατά 60% για σφάλματα του οπτικού στρώματος.
• Βελτιστοποίηση του κόστους:Ητιμή MMA4Z00-NSείναι ανταγωνιστική με άλλες ειδικευμένες ενότητες 800G SR8, ενώ η δυνατότητα διπλού πρωτοκόλλου και η εγγενής υποστήριξη breakout εξαλείφουν πρόσθετα έξοδα ειδίκευσης και εξωτερικό υλικό.

Για τους αρχιτέκτονες δικτύων και τους επικεφαλής μηχανικούς, το MMA4Z00-NS προσφέρει μια οπτική διεπαφή "set-and-forget" που διατηρεί σταθερή απόδοση σε διάφορες θερμοκρασίες και μηχανικές πιέσεις.Η λύση συνιστάται ιδιαίτερα για τα κέντρα δεδομένων AI greenfield που σχεδιάζουν τυποποιημένα δίκτυα πρόσβασης 800GΚαθώς το 800G Ethernet και το 400G InfiniBand συνεχίζουν να κερδίζουν έλξη στην AI, HPC,και επιχειρηματικά περιβάλλοντα αποθήκευσης, η οπτική αρχιτεκτονική που βασίζεται στο MMA4Z00-NS παρέχει μια ισχυρή, επεκτάσιμη βάση που ευθυγραμμίζεται τόσο με τους τρέχοντες λειτουργικούς περιορισμούς όσο και με τους μακροπρόθεσμους χάρτες πορείας χωρητικότητας.

Για λεπτομερείς οδηγίες ενσωμάτωσης, δεδομένα θερμικής προσομοίωσης και πακέτα πιστοποίησης συμμόρφωσης, ανατρέξτε στην επίσημη τεκμηρίωση του προϊόντος.