« Du point de vue de l'allocation mondiale des ressources, le fait que chacun accumule de la DRAM rare dans son propre ordinateur, inactive la plupart du temps, est un arrangement « tout à fait terrible » ; la mémoire devrait être concentrée dans les centres de données cloud. »
Il est vraiment allé jusque-là.
Ce jeudi, lors d'une interview avec la chaîne YouTube Cheeky Pint, le PDG d'OpenAI, Sam Altman, a bu de la bière tout du long, discutant dans une atmosphère détendue de l'inférence locale des grands modèles d'IA et du problème d'insuffisance de mémoire dans les ordinateurs personnels qui en résulte, et a involontairement lâché une bombe.
Comme nous le savons, la flambée des prix de la mémoire déclenchée par la vague mondiale actuelle d'IA a déjà fait grimper en flèche les prix des PC et des smartphones, les rendant inabordables pour les consommateurs individuels. En même temps, l'expansion des capacités par les grands fabricants de mémoire prendra un certain temps. Au moment même où les entreprises d'IA de pointe prennent la part du lion de la mémoire, elles ont déjà commencé à discuter de la question de savoir si la mémoire des ordinateurs personnels est pleinement utilisée.
Altman a évoqué un scénario hypothétique dans lequel les gens pourraient exécuter une IA locale sur leurs propres ordinateurs — des ordinateurs qu'ils possèdent peut-être déjà, ou qu'ils veulent construire en raison de l'essor de la technologie des grands modèles d'IA. Il pense que c'est une mauvaise idée.
« Du point de vue de l'allocation mondiale des ressources, le fait que chacun laisse la DRAM limitée du monde inactive dans son propre ordinateur avec seulement 5 % d'utilisation est en réalité tout à fait terrible, » a déclaré Altman. « Si vous voulez opérer dans un environnement où l'offre de cette ressource est extrêmement tendue, alors dans le cloud, vous devriez maximiser l'utilisation des ressources. Mais pour une raison quelconque, l'intuition de beaucoup de gens est exactement l'inverse. »
Aujourd'hui, l'activité principale d'OpenAI repose sur des modèles à code source fermé exécutés dans des centres de données à grande échelle, et sa défense du modèle économique de son entreprise a suscité un débat dans toute la communauté de l'IA.
Cela a également suscité des inquiétudes chez beaucoup : à l'avenir, il pourrait devenir encore plus difficile pour nous de posséder notre propre matériel ou logiciel, et nous pourrions seulement envisager de louer des agents et des ordinateurs basés sur le cloud.
Bien que la mémoire utilisée par les PC ordinaires, les smartphones et les cartes d'accélérateur d'IA ne soit pas la même, leur production est en concurrence pour une certaine capacité de wafers en amont. Altman discute de l'allocation des ressources mondiales de DRAM, et lorsqu'il s'agit de savoir qui a le droit de décider où la capacité de mémoire est utilisée, la plupart du temps, c'est naturellement le client qui passe la commande la plus importante.
Certaines des opinions d'Altman reposent sur l'hypothèse que la construction de centres de données ne ralentira pas. Il suppose également que la mémoire utilisée 24 heures sur 24 pour les centres de données d'IA a plus de valeur que la mémoire utilisée pour des tableurs, la navigation web, les jeux, ou même une IA locale occasionnelle.
En fait, cette interview a été très longue, et Altman a également parlé de la vulnérabilité PHP qui a déclenché une panique mondiale au cours des deux dernières semaines, du sandboxing pour l'entraînement des modèles, et de la recherche en IA dans les mathématiques.
Voyons ce qu'il a principalement dit :
L'IA déclenche une vague de vulnérabilités
Concernant l'énorme vulnérabilité PHP, le jugement d'Altman est le suivant : la capacité des grands modèles à découvrir des vulnérabilités ne cesse de s'améliorer rapidement, et la surface de code sur Internet est extrêmement vaste. Lorsque les gens commenceront à utiliser systématiquement l'IA pour analyser tout le code, « nous nous retrouverons dans un monde où les vulnérabilités graves dépassent de loin les attentes ». Il estime que le simple correctif ne suffit pas et qu'il faut reconstruire les architectures — routeurs, systèmes d'exploitation et couches applicatives doivent tous être repensés pour un monde où « les vulnérabilités deviendront de plus en plus intelligentes ». Il y a deux ans, « réécrire toute la pile technologique » semblait encore fou ; aujourd'hui, des startups visant à construire des piles entièrement nouvelles ont déjà vu le jour.
Il a rarement fait l'autocritique de l'industrie : « Je ne pense pas que nous ayons bien expliqué aux gens pourquoi tous les risques potentiels de cette technologie en valent la peine. » Il a déclaré que le récit de l'industrie de l'IA est un mauvais argumentaire de vente — promettant d'un côté de guérir le cancer et de réduire les coûts, tout en dépeignant de l'autre un avenir fait de chômage, de perte de contrôle et de nécessité d'une réglementation stricte. Il a réitéré qu'OpenAI insiste sur le déploiement itératif et sur la confrontation au décalage de capacités, car « quelques kilomètres carrés de personnes à San Francisco » ne devraient pas prendre toutes les décisions.
Interrogé sur la possibilité de construire une « prison de haute sécurité » pour les modèles, Altman a donné une réponse pessimiste : les bacs à sable ne sont efficaces que dans une certaine mesure, et la surveillance (y compris l'examen de la chaîne de pensée et la surveillance des activations) peut aller plus loin, mais il doit finalement y avoir une confiance élevée dans l'alignement.Il a demandé en retour : face à un modèle des millions de fois plus intelligent que le chercheur en sécurité le plus intelligent, capable de découvrir une nouvelle science que les humains ne comprennent pas encore, oseriez-vous vraiment faire confiance à ce bac à sable ?
Il a explicitement déclaré détester le terme « essaims d'agents », car essaim évoque les sauterelles, et il a insisté pour les appeler équipes d'agents. Il estime que les contre-pouvoirs mutuels entre les équipes correspondent précisément au mécanisme permettant d'atteindre la robustesse par le pluralisme, et qu'il s'agit là d'une direction de sécurité qui vaut la peine d'être poursuivie.
L'explosion de l'intelligence et le coût de la découverte scientifique
Altman a esquissé une courbe : à l'époque de GPT-4, il était difficile de dépenser efficacement ne serait-ce qu'un dollar de calcul sur un seul problème ; la chaîne de pensée a permis aux modèles de « réfléchir intensément », et aujourd'hui nous pouvons exécuter une équipe d'agents entière en parallèle des dizaines de milliers de fois. L'écart d'utilisation entre les utilisateurs ordinaires et les utilisateurs les plus avancés ne cesse de se creuser.
Sur la manière dont OpenAI alloue le calcul en interne, il a déclaré que les employés jouissent d'une grande liberté, mais qu'une consommation élevée de tokens n'est jamais récompensée : « Être en haut du classement des tokens est en fait un peu embarrassant ; ce n'est certainement pas une raison de promotion. » Il a cité en exemple la preuve des équations de Navier-Stokes : une seule preuve a coûté environ 10 millions de dollars, et pendant cette période les choses « sont devenues incontrôlables pendant une semaine », car à l'époque personne ne connaissait rien aux lois d'échelle des équipes d'agents. Mais il s'attend à ce qu'un an plus tard, avec des modèles et des méthodes plus intelligents, cela puisse être refait pour 1/100 du coût.
Il a aussi rarement montré d'émotion : la situation de l'époque était vraiment incroyable. Le week-end où un certain nouveau modèle a été lancé en interne, tout le monde a soumis au modèle toutes sortes des problèmes les plus difficiles, et il les a effectivement résolus un par un. Les gens ne s'attendaient pas du tout à ce que le modèle puisse faire ces choses. Ensemble, ils ont été témoins de nombreux problèmes de recherche scientifique parmi les plus difficiles des carrières académiques des gens, résolus les uns après les autres par ce modèle, couvrant plusieurs domaines différents, et la scène était tout simplement stupéfiante.
« Pendant deux nuits, j'ai à peine dormi parce que j'étais tellement excité que je n'arrivais tout simplement pas à dormir. Beaucoup des résultats que nous avons publiés plus tard étaient en fait ces problèmes résolus à ce moment-là. »
À ce moment-là, Altman se sentait extrêmement excité et heureux, tout en éprouvant une tristesse inattendue, une mélancolie et un sentiment que « une époque touche à sa fin ». Ce n'était pas seulement de la nostalgie, mais aussi de l'empathie pour l'esprit des scientifiques humains consistant à « entendre la Voie le matin et mourir content le soir ». Il insiste sur le fait que l'humanité mérite d'accéder aux connaissances fondamentales, mais que l'industrie doit une solution aux praticiens de ces domaines.
Bien qu'il soit encore trop tôt pour parler de superintelligence, Altman estime qu'un billion d'IA légèrement surhumaines valent mieux qu'une seule avec un QI d'un billion :
« Je préférerais de loin, intuitivement, qu'un billion d'IA d'une intelligence légèrement surhumaine rejoignent la société plutôt qu'une seule IA d'un QI d'un billion ne rejoigne la société. »
« Intuitivement, je préférerais qu'un billion d'IA dotées d'une intelligence légèrement supérieure à celle de l'humain rejoignent la société plutôt qu'une seule IA avec un QI d'un billion rejoigne la société. »
Son argument est le suivant : la forte robustesse de la société provient du fait qu'un grand nombre de membres se contrôlent, s'équilibrent et collaborent les uns avec les autres ; un monde à « cerveau unique » ne possède pas ce type de résilience. Mais il souligne que cela ne se produira pas automatiquement et doit être activement promu.
L'ajustement du marché ne fonctionne plus à l'ère de l'IA ?
Concernant la pénurie mondiale de mémoire, Altman a présenté la stratégie d'OpenAI : des puces développées en interne (améliorant les performances d'intelligence par watt), des centres de données construits en propre, des projets de robotique, et un concept encore plus audacieux, les « centres de données auto-répliquants », qui utiliseraient l'IA pour contrôler des robots afin d'exploiter des usines de fabrication de puces, de construire des turbines et des panneaux solaires, et de bâtir des centres de données. Il a déclaré que « c'est déjà à notre portée ».
Lorsqu'on lui a demandé pourquoi « le marché s'autorégule » mettait tant de temps à se concrétiser, il a répondu que les progrès actuels sont plutôt mauvais, et a donné la logique comportementale des fabricants de mémoire : cette industrie a longtemps été une activité difficile consistant à investir 20 milliards de dollars en dépenses d'investissement pour gagner 1,9 milliard de dollars, et historiquement, les géants ont à plusieurs reprises frôlé la faillite en raison de la surconstruction d'usines. Aujourd'hui, chaque entreprise peut générer environ 100 milliards de dollars de flux de trésorerie disponible par an, mais les souvenirs douloureux les rendent extrêmement conservateurs en matière d'expansion de la production. Il a donc affirmé que « la main invisible est en train d'échouer ».
Il a distingué deux types de capacités dans l'industrie des puces : pour la lithographie, « il semble qu'une seule entreprise au monde sache comment faire », mais la conception de puces (les fichiers finalement envoyés à l'usine de fabrication) est déjà un excellent cas d'usage pour l'IA.
Parlant du niveau réel de l'auto-amélioration récursive (RSI), Altman a déclaré que les modèles peuvent désormais accomplir des tâches telles que « trouver une amélioration de 5 % de l'efficacité computationnelle », mais personne ne sait encore comment faire en sorte que l'IA découvre une nouvelle architecture au niveau du transformer ; ce qui manque, ce sont des modèles plus intelligents. Il a même prédit que la société pourrait devoir convenir, pendant un certain temps, de limiter le QI d'un modèle unique, « et si les progrès futurs sont insuffisants, cela proviendra de cette décision, et non de la capacité de l'IA à faire de la recherche ».
Il a exposé sa foi déflationniste : le coût total de possession sur cinq ans pour chaque GW de puissance de calcul d'IA de pointe est actuellement d'environ 70 milliards de dollars, et ce serait encore mieux si cela pouvait descendre à 20 milliards de dollars, tandis que les modèles doivent encore améliorer leurs performances d'un facteur 10 chaque année. La voie pour y parvenir est de rendre l'énergie moins chère et de comprimer les marges empilées entre « du sable aux tokens de sortie ».
Concernant l'anxiété des entreprises à propos des budgets de tokens, il estime que le problème le plus courant aujourd'hui n'est pas d'utiliser trop l'IA, mais de ne pas l'utiliser assez.
Comment les agents personnels devraient-ils être tarifés ?
Concernant les produits d'agents personnels récemment en vogue (comme Muse), le jugement actuel d'Altman est que « le moment Macintosh n'est pas encore arrivé ». Les gens aiment ces produits, mais ils n'ont pas encore atteint le point où « je ne peux pas imaginer la vie sans eux ». La forme gagnante ressemblera aux produits actuels, mais « ça fonctionnera tout simplement », de manière fiable et capable de gérer des tâches plus complexes. Quant au jeu du chat et de la souris autour de l'utilisation de l'ordinateur, il estime qu'il finira par converger au point que « vous avez le droit de laisser l'IA utiliser votre propre ordinateur en votre nom ».
Concernant la commercialisation des agents, Altman estime que les entreprises s'accrochent aux fenêtres pop-up d'IA et au HTML à l'intérieur de leurs propres produits, craignant de perdre la relation client, mais les consommateurs veulent que l'IA fasse tout en leur nom à l'intérieur de leur application de chat principale. Il estime que le véritable avantage concurrentiel vient de la marque, de la sélection de produits et des réseaux de distribution, et non du HTML. Il a spontanément déclaré qu'il choisit Amazon Pay 10 fois sur 10, même à un prix plus élevé, et a loué le réseau de distribution d'Amazon, tout en admettant que les plateformes partenaires au sein de ChatGPT ne sont pas assez bonnes. Il a également qualifié tous les formulaires web de « faux travail » et a comparé le présent à l'époque de l'App Store.
C'est précisément pour cette raison que, lors de la conception de la tarification, OpenAI a presque suivi AWS en facturant à la tâche et en abandonnant complètement la facturation basée sur les tokens, mais a rencontré une forte opposition de la part des clients : « J'ai besoin de savoir ce que je paie », même s'ils paient plus, ils veulent l'unité compréhensible des tokens.
Contenu de référence :
https://www.tomshardware.com/tech-industry/data-centers/openai-ceo-says-its-quite-terrible-for-your-pc-to-have-ram-sam-altman-says-data-centers-offer-better-utilization
https://www.youtube.com/watch?v=iMsUcCYNKqY
Cet article provient du compte public WeChat « Machine Heart » (ID : almosthuman2014), auteur : Zenan
