Mellanox (NVIDIA Mellanox) MFS1S00-H005V Πρακτική εφαρμογής ενεργού οπτικού καλωδίου AOC

Πρακτική Εφαρμογής Καλωδίου Οπτικής Ενεργού Mellanox (NVIDIA Mellanox) MFS1S00-H005V ｜ Σύνδεση Υψηλής Ταχύτητας Μικρής Εμβέλειας μεταξύ Ραφιών και Απλοποίηση Καλωδίωσης

Υπόβαθρο και Προκλήσεις: Το Σημείο Συμφόρησης της Καλωδίωσης στη Συνδεσιμότητα μεταξύ Ραφιών

Ένα εθνικό υπερυπολογιστικό κέντρο αντιμετώπισε ένα απροσδόκητο σημείο συμφόρησης μετά την αναβάθμιση του δικτύου InfiniBand HDR 200G του — τη φυσική διασύνδεση μεταξύ των ραφιών. Η εγκατάσταση φιλοξενεί 48 υπολογιστικά ράφια, καθένα από τα οποία περιέχει 16 διακομιστές GPU, με κάθε διακομιστή να απαιτεί δύο συνδέσεις 200G προς τον διακόπτη Leaf στην κορυφή του ραφιού (ToR). Σύμφωνα με την παραδοσιακή προσέγγιση, η συνδεσιμότητα μεταξύ των ραφιών βασιζόταν σε καλώδια οπτικών ινών και διακριτές οπτικές μονάδες: πομποδέκτες QSFP56 SR4 αναπτύχθηκαν στην κορυφή κάθε ραφιού, συνδεδεμένοι μέσω καλωδίων MPO με διακόπτες Leaf σε γειτονικά ράφια. Αυτή η λύση αποκάλυψε πολλαπλά προβλήματα κατά την αρχική ανάπτυξη. Πρώτον, ο πολλαπλασιασμός των καλωδίων ήταν σοβαρός — απαιτούνταν πάνω από 300 συνδέσεις οπτικών ινών μεταξύ των 48 ραφιών, και οι σχάρες καλωδίων έφτασαν σε πλήρη χωρητικότητα εντός δύο εβδομάδων, καθιστώντας οποιαδήποτε νέα προσθήκη εξαρτώμενη από την αφαίρεση υπαρχόντων καλωδίων. Δεύτερον, το ποσοστό αστοχίας των οπτικών μονάδων ήταν αξιοσημείωτα υψηλό, με την ομάδα λειτουργίας να καταγράφει κατά μέσο όρο 3 έως 4 αντικαταστάσεις μονάδων ανά εβδομάδα κατά τους πρώτους τρεις μήνες μετά την ανάπτυξη, απαιτώντας συχνά επανεπιβεβαίωση σύνδεσης και προκαλώντας καθυστερήσεις στην προγραμματισμό εργασιών. Τρίτον, κάθε καλώδιο MPO απαιτούσε σχολαστική διαχείριση πολικότητας και καθαρισμό, προσθέτοντας 15 έως 20 λεπτά ανά σύνδεση κατά την αρχική ενεργοποίηση. Ο επικεφαλής λειτουργίας συνόψισε την πρόκληση: "Χρειαζόμασταν μια λύση που θα μπορούσε να προσφέρει την ίδια απόδοση 200G αλλά με λιγότερα εξαρτήματα, απλούστερο χειρισμό και δραστικά μειωμένα ποσοστά αστοχίας στο πεδίο."

Λύση και Ανάπτυξη: Παρουσίαση του Καλωδίου Οπτικής Ενεργού MFS1S00-H005V

Για να αντιμετωπιστούν αυτά τα προβλήματα, το κέντρο αξιολόγησε διάφορες εναλλακτικές λύσεις και τελικά επέλεξε το MFS1S00-H005V από τη Mellanox (NVIDIA Mellanox) — ένα Καλώδιο AOC QSFP56 MFS1S00-H005V 200G που ενσωματώνει τους οπτικούς πομποδέκτες και τις οπτικές ίνες σε μια ενιαία, προ-τερματισμένη διάταξη. Ως Καλώδιο Οπτικής Ενεργού MFS1S00-H005V InfiniBand HDR 200Gb/s, εξαλείφει την ανάγκη για ξεχωριστές μονάδες και καλώδια, προσφέροντας μια σύνδεση plug-and-play που εκτείνεται έως και 50 μέτρα — ιδανικό για τις τυπικές αποστάσεις 5 έως 15 μέτρων μεταξύ των ραφιών σε αυτήν την εγκατάσταση.

Η στρατηγική ανάπτυξης έγινε σταδιακά σε τρία Σαββατοκύριακα. Στη Φάση 1, η ομάδα αντικατέστησε όλες τις διασυνδέσεις Leaf-to-Leaf στο κεντρικό επίπεδο spine με το NVIDIA Mellanox MFS1S00-H005V, επικυρώνοντας ότι η λίστα συμβατότητας MFS1S00-H005V κάλυπτε τους υπάρχοντες διακόπτες Quantum τους. Η Φάση 2 επέκτεινε την ανάπτυξη AOC στις συνδέσεις στην κορυφή του ραφιού, συνδέοντας κάθε κόμβο υπολογισμού με τους διακόπτες Leaf. Η Φάση 3 επικεντρώθηκε στο δίκτυο GPU-προς-αποθήκευση, όπου η Λύση Καλωδίου AOC QSFP56 MFS1S00-H005V 200G παρείχε ντετερμινιστική καθυστέρηση για την κίνηση παράλληλου συστήματος αρχείων. Η ομάδα βασίστηκε στο Φύλλου δεδομένων MFS1S00-H005V για να επαληθεύσει τους προϋπολογισμούς συνδέσεων και να διασφαλίσει ότι η εμβέλεια των 50 μέτρων ήταν επαρκής για τη μεγαλύτερη διαδρομή τους (μετρημένη στα 37 μέτρα, συμπεριλαμβανομένων των βρόχων σέρβις).

Ένα βασικό πλεονέκτημα της προσέγγισης AOC ήταν η εξάλειψη του ξεχωριστού βήματος καθαρισμού του πομποδέκτη — κάθε MFS1S00-H005V έφτασε δοκιμασμένο στο εργοστάσιο και σφραγισμένο, απαιτώντας μόνο οπτική επιθεώρηση των ακροδεκτών του συνδετήρα πριν από την εγκατάσταση. Η ομάδα χρησιμοποίησε χρωματικά κωδικοποιημένα καλύμματα καλωδίων για να διακρίνει τις συνδέσεις leaf-to-spine από τις συνδέσεις leaf-to-compute, απλοποιώντας περαιτέρω την τεκμηρίωση.

Αποτελέσματα και Οφέλη: Απτές Βελτιώσεις στην Αξιοπιστία και την Επιχειρησιακή Αποτελεσματικότητα

Οι μετρήσεις μετά την ανάπτυξη έδειξαν σημαντικά κέρδη σε πολλαπλές διαστάσεις. Οι προδιαγραφές MFS1S00-H005V — συμπεριλαμβανομένης της τυπικής κατανάλωσης ενέργειας κάτω από 1,5W ανά άκρο και ενός BER μικρότερου από 1e-15 — υλοποιήθηκαν πλήρως στο περιβάλλον παραγωγής, με το κέντρο να αναφέρει μηδενικές αποτυχίες εργασιών που σχετίζονται με συνδέσεις στους δύο μήνες μετά την αλλαγή. Ο παρακάτω πίνακας συνοψίζει τις βασικές βελτιώσεις:

Η ομάδα λειτουργίας σημείωσε επίσης ότι το εύκαμπτο περίβλημα του καλωδίου MFS1S00-H005V και η ελάχιστη ακτίνα κάμψης 30mm επέτρεψαν πολύ πιο τακτοποιημένη δρομολόγηση μέσα στις σχάρες καλωδίων, μειώνοντας την ανάγκη για δεματικά καλωδίων και βελτιώνοντας τη ροή αέρα. Κατά την αξιολόγηση του συνολικού κόστους, το κέντρο διαπίστωσε ότι ενώ η τιμή MFS1S00-H005V ανά μονάδα ήταν ελαφρώς υψηλότερη από τον συνδυασμό ξεχωριστής μονάδας συν καλωδίου σε βάση ανά σύνδεση, η εξάλειψη του αποθέματος ανταλλακτικών, η μειωμένη εργασία αντιμετώπισης προβλημάτων και το σχεδόν μηδενικό ποσοστό αστοχίας κατέστησαν το συνολικό κόστος ιδιοκτησίας (TCO) πιο ευνοϊκό. Το MFS1S00-H005V προς πώληση μέσω του καναλιού της NVIDIA εξασφάλισε επίσης ταχεία αντικατάσταση τυχόν ελαττωματικών μονάδων (αν και δεν συνέβησαν κατά τους πρώτους τρεις μήνες).

Σύνοψη και Προοπτικές: Ένα Προσχέδιο για Απλοποιημένα Δίκτυα HDR

Η επιτυχημένη υιοθέτηση του MFS1S00-H005V από το υπερυπολογιστικό κέντρο καταδεικνύει πώς τα καλώδια οπτικής ενεργού μπορούν να απλοποιήσουν δραματικά τη συνδεσιμότητα μεταξύ ραφιών σε περιβάλλοντα HDR 200G. Ενοποιώντας τους πομποδέκτες και τις οπτικές ίνες σε μια ενιαία, προ-πιστοποιημένη διάταξη, η προσέγγιση AOC μειώνει τον αριθμό των εξαρτημάτων, εξαλείφει τις αστοχίες στο πεδίο που σχετίζονται με μονάδες και μειώνει τον χρόνο ανάπτυξης κατά πάνω από 80%. Για αρχιτέκτονες δικτύων και διαχειριστές IT που αντιμετωπίζουν παρόμοιες προκλήσεις πυκνότητας καλωδίωσης, το NVIDIA Mellanox MFS1S00-H005V προσφέρει μια αποδεδειγμένη διαδρομή προς υψηλότερη αξιοπιστία και χαμηλότερο λειτουργικό κόστος. Πλήρεις τεχνικές λεπτομέρειες, συμπεριλαμβανομένου του Φύλλου δεδομένων MFS1S00-H005V και επαληθευμένων πινάκων συμβατότητας, είναι διαθέσιμες μέσω επίσημων καναλιών. Το κέντρο σχεδιάζει τώρα να επεκτείνει τη στρατηγική AOC στην νέα πτέρυγα επέκτασης GPU, αναμένοντας να αναπαράγει τα ίδια οφέλη σε ακόμη μεγαλύτερη κλίμακα.