TECH NEWS – Le propriétaire de Twitter dit qu’il n’est pas clair si nous pouvons générer suffisamment d’énergie pour maintenir l’intelligence artificielle à progresser au rythme où elle s’améliore.
La formation de grands modèles de langage (LLM) nécessite de nombreux GPU. Celui-ci est principalement fourni par Nvidia, mais l’entreprise n’arrive pas à produire suffisamment pour satisfaire tout le monde. Cependant, Musk affirme qu’il existe un autre problème : les besoins en énergie. Il pense que Grok 3, le modèle de nouvelle génération (développé par sa startup xAI), aura besoin d’environ 100 000 GPU Nvidia H100 pour la formation. Cela en soi n’est pas une tâche facile (et certainement pas bon marché).
Un GPU H100 consomme jusqu’à 700 W. Multipliez cela par 100 000 et vous obtenez jusqu’à 70 mégawatts, et même s’il est impossible que chaque GPU fonctionne toujours à la charge maximale, le matériel et l’infrastructure supplémentaires ajouteront des besoins en énergie supplémentaires, de sorte qu’ils pourraient dépasser 100 mégawatts. C’est la consommation d’une petite ville. Paris disposait de 500 mégawatts de datacenters en 2022. Et 100 mégawatts pour un seul LLM, c’est un gros problème. Dans une interview avec Nicolai Tangen (PDG d’un fonds de richesse norvégien), Musk a déclaré que même si le manque de GPU continuera d’être un obstacle majeur au développement de modèles d’IA, le manque d’un réseau électrique adéquat et de la puissance qu’il fournit devenir un obstacle majeur.
Musk a également fait une prédiction exagérée : il pense que l’AGI (Artificial General Intelligence) sera plus intelligente que l’humain le plus intelligent d’ici 1 à 2 ans. En 2017, il a affirmé que nous étions à deux ans de voitures autonomes si fiables que nous pourrions y dormir ; cela n’est pas encore arrivé. Le 19 mars 2020, il a déclaré qu’il n’y aurait pas un seul cas de COVID aux États-Unis d’ici la fin avril… encore une fois, il avait largement tort.
Le Grok 2, le modèle actuel, s’est contenté de 20 000 GPU H100, il aura donc cinq fois la configuration système requise pour la prochaine génération à construire. Cela n’a pas l’air très bien.
