Η start-up του Elon Musk, xAI, ανακοίνωσε πρόσφατα ότι ο «Colossus», ο πιο ισχυρός υπερυπολογιστής εκπαίδευσης AI (τεχνητής νοημοσύνης) στον κόσμο, είναι πλέον online. Με έδρα το Μέμφις του Τενεσί, αυτός ο νέος υπερυπολογιστής AI κατασκευάστηκε σε μόλις τέσσερις μήνες (122 ημέρες).
Το νέο εκπαιδευτικό cluster xAI κατασκευάστηκε χρησιμοποιώντας 100.000 GPUs αναφοράς NVIDIA Hopper H100, ένα στοιχείο υψηλής ζήτησης για την εκπαίδευση νέων μοντέλων AI. Αυτό το μοντέλο έχει σχεδιαστεί για να εκπαιδεύει την επόμενη γενιά του μεγάλου γλωσσικού μοντέλου (LLM) της xAI, Grok.
Η εταιρεία σχεδιάζει επίσης να διπλασιάσει τον αριθμό GPU σε 200.000 σε λίγους μήνες προσθέτοντας άλλα 50.000 τσιπ της νέας, πιο προηγμένης σειράς H200 της NVIDIA, η οποία προσφέρει υψηλότερη υπολογιστική μνήμη.
Επιπλέον, οι νέοι συγκριτικοί σταθμοί GPU της NVIDIA Hopper H200 διαθέτουν έως και 141 GB ταχύτερης μνήμης HBM3E, σε αντίθεση με το H100, το οποίο διαθέτει έως και 80 GB μνήμης HBM3.
Αυτό το Σαββατοκύριακο, το @xAI Η ομάδα έφερε διαδικτυακά το προπονητικό μας σύμπλεγμα Colossus 100k H100. Από την αρχή μέχρι το τέλος, έγινε σε 122 ημέρες.
Το Colossus είναι το πιο ισχυρό σύστημα εκπαίδευσης AI στον κόσμο. Επιπλέον, θα διπλασιαστεί σε μέγεθος σε 200k (50k H200s) σε λίγους μήνες.
Εξοχος…
— Έλον Μασκ (@elonmusk) 2 Σεπτεμβρίου 2024
«Αυτό το Σαββατοκύριακο, η ομάδα xAI έφερε διαδικτυακά το εκπαιδευτικό μας σύμπλεγμα Colossus 100K H100. Από την αρχή μέχρι το τέλος, έγινε σε 122 ημέρες. Το Colossus είναι το πιο ισχυρό σύστημα εκπαίδευσης AI στον κόσμο. Επιπλέον, θα διπλασιαστεί σε μέγεθος σε 200K (50K H200s) σε λίγους μήνες. Εξαιρετική δουλειά από την ομάδα, τη NVIDIA και τους πολλούς συνεργάτες/προμηθευτές μας», έγραψε ο Μασκ στο Twitter στο X (πρώην Twitter).
«Είναι συναρπαστικό να βλέπεις το Colossus, τον μεγαλύτερο #υπερυπολογιστή GPU στον κόσμο, να έρχεται στο διαδίκτυο σε χρόνο ρεκόρ. Το Colossus τροφοδοτείται από την πλατφόρμα #acceleratedcomputing της @nvidia, προσφέροντας πρωτοποριακή απόδοση με εξαιρετικά κέρδη στην #energyefficiency. Συγχαρητήρια σε όλη την ομάδα!» Η λαβή X του NVIDIA Data Centre έγραψε στην πλατφόρμα της.
Η GPU της NVIDIA κοστίζει περίπου 30.000 δολάρια, υποδηλώνοντας ότι ο Μασκ ξόδεψε τουλάχιστον 3 δισεκατομμύρια δολάρια για την κατασκευή του νέου υπερυπολογιστή, μια εγκατάσταση που θα απαιτήσει επίσης σημαντικούς πόρους ηλεκτρικής ενέργειας και ψύξης.
Επί του παρόντος, το Grok 2 του Musk, το μοντέλο τεχνητής νοημοσύνης δεύτερης γενιάς του xAI που εκπαιδεύεται με χρήση 15.000 H100 GPU, είναι αποκλειστικά διαθέσιμο σε συνδρομητές X premium και X premium plus με δυνατότητες δημιουργίας εικόνας και κειμένου. Είπε ότι αναμένει να κυκλοφορήσει το μοντέλο τεχνητής νοημοσύνης τρίτης γενιάς της xAI, Grok-3, μέχρι τον Δεκέμβριο.
