Οπτικός πομποδέκτης NVIDIA Mellanox MMA4Z00-NS Data Center στην πράξη

Οπτικός πομποδέκτης NVIDIA Mellanox MMA4Z00-NS Data Center στην πράξη | Εξισορρόπηση εύρους ζώνης και απόστασης μεταξύ των συνδέσεων Rack-to-Rack και Inter-Facility

Ιστορικό και πρόκληση: Το δίλημμα 800G εύρους ζώνης-απόστασης στα κέντρα δεδομένων που βασίζονται σε AI

Καθώς τα συμπλέγματα εκπαίδευσης AI κλιμακώνονται από εκατοντάδες σε χιλιάδες GPU, ο υποκείμενος ιστός δικτύου πρέπει να παρέχει εύρος ζώνης κλίμακας terabit διατηρώντας παράλληλα αποδεκτές αποστάσεις σύνδεσης εντός της αίθουσας δεδομένων. Για αναπτύξεις Ethernet 800G και 400G InfiniBand, η πρόκληση του φυσικού επιπέδου είναι ιδιαίτερα έντονη: οι παραδοσιακοί πομποδέκτες πολλαπλών λειτουργιών που βασίζονται σε VCSEL 850 nm προσφέρουν εξαιρετική σχέση κόστους-αποτελεσματικότητας για συνδέσμους μικρής απόστασης (κάτω από 30 μέτρα), αλλά η εμβέλειά τους συνήθως πέφτει στα 50-70 G ένα PAM στα 4 8 μέτρα. συνδέσεις διαδρόμων ή τοπολογίες μεταξύ σειρών. Αντίθετα, οι λύσεις single-mode όπως οι πομποδέκτες DR8 ή FR8 εκτείνονται σε εκατοντάδες μέτρα, αλλά έχουν σημαντικά υψηλότερο κόστος και κατανάλωση ενέργειας, καθιστώντας τους οικονομικά μη βιώσιμους για αναπτύξεις επιπέδου πρόσβασης υψηλής πυκνότητας.

Αυτή η πρόκληση αντιμετωπίστηκε πρόσφατα από έναν πάροχο cloud μεγάλης κλίμακας που αναπτύσσει ένα εκπαιδευτικό σύμπλεγμα AI 8.000 GPU σε 12 αίθουσες κέντρων δεδομένων. Το σύμπλεγμα απαιτούσε συνδεσιμότητα 800G μεταξύ διακοπτών φύλλων και κόμβων υπολογιστών GPU κατανεμημένων σε γειτονικά και μη rack, με αποστάσεις που κυμαίνονταν από 5 μέτρα (εντός ραφιών) έως 65 μέτρα (διαδρομή). Η ομάδα μηχανικών χρειαζόταν ένα μοναδικό SKU πομποδέκτη που θα μπορούσε να καλύψει την πλειονότητα αυτών των συνδέσεων χωρίς να θυσιάζει την ακεραιότητα του σήματος, την απόδοση ισχύος ή την ευελιξία πρωτοκόλλου — επειδή το ύφασμα περιλάμβανε τόσο Ethernet για αποθήκευση όσο και InfiniBand για επικοινωνία GPU-GPU. ΟNVIDIA Mellanox MMA4Z00-NSαναδείχθηκε ως ο βέλτιστος υποψήφιος, προσφέροντας απόδοση 800G OSFP SR8 με δυνατότητα σπασίματος 2×400G και στα δύο πρωτόκολλα.

Λύση & Ανάπτυξη: Μια Ενοποιημένη Οπτική Στρατηγική 800G

Για την αντιμετώπιση της ισορροπίας εύρους ζώνης-απόστασης, ο πάροχος τυποποίησε τοNVIDIA Mellanox MMA4Z00-NSως ο μοναδικός οπτικός πομποδέκτης 800G για όλες τις πολυτροπικές συνδέσεις ινών έως 60 μέτρα. ΑυτόΠομποδέκτης MMA4Z00-NS 800G OSFP SR8λειτουργεί μέσω πολυτροπικής ίνας ευρείας ζώνης OM5, υποστηρίζοντας εμβέλεια 70 μέτρων στα 800G — παρέχοντας άφθονο περιθώριο για συνδεσιμότητα διαδρόμων, διατηρώντας παράλληλα τη συμβατότητα με την υπάρχουσα υποδομή OM4 για μικρότερες συνδέσεις. Για ζεύξεις άνω των 60 μέτρων, η ομάδα κράτησε ένα μικρό απόθεμα πομποδεκτών μονής λειτουργίας (DR8/FR8) για να καλύψει τις λίγες συνδέσεις μεταξύ των αιθουσών.

Η ανάπτυξη εκτελέστηκε σε τρεις διακριτές ζώνες, η καθεμία με συγκεκριμένες απαιτήσεις καλωδίωσης και συνδεσιμότητας:

• Ενδο-ράφι (2–5 μέτρα):Κατευθύνετε τα καλώδια ενημέρωσης κώδικα MPO-12 από τις θύρες μεταγωγής OSFP σε κόμβους υπολογιστών GPU, χρησιμοποιώντας πομποδέκτες MMA4Z00-NS και στα δύο άκρα. Το περιθώριο ζεύξης ξεπέρασε τα 5 dB, εξασφαλίζοντας στιβαρή λειτουργία ακόμη και με μέτρια υποβάθμιση του βύσματος.
• Παρακείμενα ράφια (8–20 μέτρα):Δομημένη καλωδίωση OM5 μέσω εναέριων δίσκων με ενδιάμεσα patch panels. Συνολικός αριθμός συνδέσμων: 2 ζευγαρωμένα ζεύγη ανά σύνδεσμο. Περιθώριο σύνδεσης: 4–4,5 dB, εντός του οπτικού προϋπολογισμού της μονάδας όπως τεκμηριώνεται στοΦύλλο δεδομένων MMA4Z00-NS.
• Σταυρός διάδρομος / ενδιάμεση σειρά (25–55 μέτρα):Προτερματικά κορμούς OM5 που δρομολογούνται κάτω από υπερυψωμένα δάπεδα. Για να διατηρήσει το ελάχιστο περιθώριο των 3,0 dB, η ομάδα πραγματοποίησε καθαρισμό τελικής όψης σε όλους τους συνδέσμους πριν από την εγκατάσταση και επαλήθευσε την απώλεια εισαγωγής χρησιμοποιώντας έναν μετρητή οπτικής ισχύος κατά τη θέση σε λειτουργία.

Για το τμήμα InfiniBand του υφάσματος — σύνδεση διακομιστών GPU σε μεταγωγείς Quantum-2 —MMA4Z00-NS 2x400G InfiniBand/Ethernetχρησιμοποιήθηκε η λειτουργία breakout. Σε αυτήν τη διαμόρφωση, ένας μόνο πομποδέκτης MMA4Z00-NS στην πλευρά του διακόπτη τροφοδοτεί δύο τελικά σημεία 400G μέσω ενός συγκροτήματος καλωδίου διακοπής MPO-12 έως 2×MPO-8. Αυτή η δυνατότητα εγγενούς διακοπής εξάλειψε την ανάγκη για εξωτερικές μονάδες ανεμιστήρα, μειώνοντας την κατανάλωση χώρου στο rack κατά περίπου 20% σε σύγκριση με την προηγούμενη αρχιτεκτονική βασισμένη στα 400G. Επειδή τοNVIDIA Mellanox MMA4Z00-NSείναιΣυμβατό με το MMA4Z00-NSΜε πρωτόκολλα Ethernet και InfiniBand, η ομάδα διατήρησε ένα ενιαίο SKU πομποδέκτη σε ολόκληρο το ύφασμα, απλοποιώντας την προμήθεια και τη διαχείριση ανταλλακτικών.

Αποτελέσματα & Οφέλη: Μετρήσιμα κέρδη σε κόστος, πυκνότητα και λειτουργική απλότητα

Η ανάλυση μετά την ανάπτυξη στις 2.400 οπτικές ζεύξεις αποκάλυψε πολλά μετρήσιμα πλεονεκτήματα. Πρώτον, τυποποιώντας τοΛύση πομποδέκτη MMA4Z00-NS 800G OSFP SR8, ο οργανισμός εξάλειψε την ανάγκη για ξεχωριστά SKU μικρής και μεσαίας πρόσβασης, μειώνοντας το απόθεμα πομποδέκτη κατά 60% και απλοποιώντας τις διαδικασίες παραγγελιών. ΟΤιμή MMA4Z00-NS, όταν αξιολογήθηκε σε σύγκριση με συγκρίσιμες μονάδες μονής λειτουργίας εκτεταμένης πρόσβασης, παρείχε 45% εξοικονόμηση κόστους ανά σύνδεση για αποστάσεις κάτω των 60 μέτρων, επειδή δεν καταβλήθηκε ασφάλιστρα για δυνατότητες που δεν απαιτούνταν.

Δεύτερον, το ποσοστό λειτουργικής αποτυχίας κατά τους πρώτους έξι μήνες ήταν εξαιρετικά χαμηλό: απαιτήθηκαν μόνο δύο αντικαταστάσεις πομποδέκτη από 2.400 μονάδες — ποσοστό αστοχίας 0,08% — σημαντικά χαμηλότερο από τον μέσο όρο της βιομηχανίας 0,5–1% για πομποδέκτες 800G πρώιμης γενιάς. Αυτή η αξιοπιστία αποδίδεται στη βελτιστοποιημένη από το εργοστάσιο οπτική ευθυγράμμιση και τον αυστηρό ποιοτικό έλεγχο του MMA4Z00-NS, καθώς και στη συμμόρφωση της ομάδας στις διαδικασίες καθαρισμού που καθορίζονται στοΠροδιαγραφές MMA4Z00-NS.

Τρίτον, η απόδοση ισχύος τουNVIDIA Mellanox MMA4Z00-NS— η κατανάλωση λιγότερης από 10,5 W ανά μονάδα στα 800G και περίπου 8,2W σε λειτουργία διακοπής λειτουργίας 2×400G — συνέβαλε στη μετρήσιμη εξοικονόμηση ψύξης. Σε ολόκληρο τον αναπτυγμένο στόλο, οι 2.400 πομποδέκτες κατανάλωσαν συνολικά περίπου 24,6 kW σε λειτουργία 2×400G και 25,2 kW σε λειτουργία 800G, σε σύγκριση με εκτιμώμενα 35 kW εάν είχαν επιλεγεί εναλλακτικές μονάδες απλής λειτουργίας με υψηλότερη κατανάλωση ισχύος (συνήθως 12–14 W). Αυτή η μείωση ισχύος 28–30% βελτίωσε άμεσα τη μέτρηση της αποτελεσματικότητας χρήσης ενέργειας (PUE) της εγκατάστασης κατά περίπου 0,03 μονάδες.

Από μηχανολογική άποψη, η διεπαφή ψηφιακής διαγνωστικής παρακολούθησης (DDM) της μονάδας αποδείχθηκε ανεκτίμητη κατά την αντιμετώπιση προβλημάτων. Σε μια περίπτωση, ανιχνεύθηκε μια σταδιακή μείωση της λαμβανόμενης οπτικής ισχύος μέσω της προληπτικής παρακολούθησης, επιτρέποντας στην ομάδα λειτουργιών να προγραμματίσει έναν καθαρισμό συνδετήρων κατά τη διάρκεια ενός παραθύρου συντήρησης αντί να αντιδράσει σε μια απροσδόκητη πτώση ζεύξης. Αυτή η προληπτική προσέγγιση μείωσε τον μέσο χρόνο για την επισκευή (MTTR) για περιστατικά οπτικού επιπέδου κατά 55% περίπου, επειδή η ομάδα μπορούσε να εντοπίσει υποβαθμισμένες ζεύξεις προτού προκαλέσουν διακοπές στην υπηρεσία.

Περίληψη & Outlook: Ένα προσχέδιο για κλιμακούμενη οπτική αρχιτεκτονική 800G

Η εμπειρία ανάπτυξης με τοNVIDIA Mellanox MMA4Z00-NSσε ζώνες πολλαπλών αποστάσεων δείχνει ξεκάθαρα ότι ένας μόνο, καλά επιλεγμένος πομποδέκτης 800G OSFP SR8 μπορεί να αντιμετωπίσει αποτελεσματικά την αντιστάθμιση εύρους ζώνης-απόστασης στα σύγχρονα κέντρα δεδομένων AI — υπό την προϋπόθεση ότι οι προδιαγραφές του ταιριάζουν προσεκτικά με την εγκατεστημένη εγκατάσταση οπτικών ινών και τις απαιτήσεις απόστασης. Αξιοποιώντας την εμβέλεια των 70 μέτρων τουΠομποδέκτης MMA4Z00-NS 800G OSFP SR8μέσω της ίνας OM5, οι αρχιτέκτονες μπορούν να αποφύγουν το κόστος και την πολυπλοκότητα των πολλαπλών οπτικών SKU, διατηρώντας παράλληλα την ακεραιότητα του σήματος και τη λειτουργική απλότητα σε συνδέσεις εντός rack, inter-rack και cross-alidle links.

Κοιτάζοντας το μέλλον, καθώς το 800G Ethernet και το 400G InfiniBand συνεχίζουν να κερδίζουν έδαφος σε περιβάλλοντα εκπαίδευσης AI, HPC και αποθήκευσης επιχειρήσεων, η ζήτηση για αξιόπιστους, οικονομικά αποδοτικούς οπτικούς πομποδέκτες 800G θα αυξηθεί μόνο. Το MMA4Z00-NS βρίσκεται σε καλή θέση για αυτήν την τροχιά, επειδή η ικανότητα διπλού πρωτοκόλλου και η εγγενής υποστήριξη 2×400G εξασφαλίζουν συμβατότητα τόσο με τις τρέχουσες υποδομές 400G όσο και με τα μελλοντικά εγγενή τελικά σημεία 800G. Για οργανισμούς που σχεδιάζουν παρόμοιες μετεγκαταστάσεις 800G, η κλιμακωτή προσέγγιση που επικυρώθηκε σε αυτήν την ανάπτυξη προσφέρει έναν πρακτικό οδικό χάρτη: τυποποίηση στο MMA4Z00-NS για όλες τις συνδέσεις έως και 60 μέτρα πάνω από το OM5, δεσμεύστε πομποδέκτες μονής λειτουργίας για μεγαλύτερες συνδέσεις μεταξύ των αιθουσών και διατηρήστε ένα ενιαίο πλαίσιο παρακολούθησης που αξιοποιεί τα δεδομένα DDM για την οπτική και προληπτική διαχείριση του δικτύου DDM.

Για λεπτομερή πρότυπα προϋπολογισμού συνδέσμων, λίστες ελέγχου εγκατάστασης και πρωτόκολλα καθαρισμού, ανατρέξτε στοΦύλλο δεδομένων MMA4Z00-NSκαι τις σημειώσεις οπτικής εφαρμογής NVIDIA Mellanox.