Sam Altman : l’IA stagne à cause d’une mauvaise appréciation du *scaling
Sam Altman, ancien PDG d’OpenAI et cofondateur de Palantir, a suscité le débat lors d’une conférence à Stanford en affirmant qu’une génération de chercheurs a ralenti l’IA en sous-estimant la puissance du scaling. Lors de cet événement, Altman a défendu le scaling des grands modèles de langage (LLM) comme moteur essentiel de percées technologiques, citant la récente démonstration par OpenAI d’une conjecture mathématique réputée insoluble comme preuve. Cette prise de position relance les discussions sur l’impact d’un scepticisme précoce envers le scaling, qui aurait pu limiter l’innovation et retarder les avancées en intelligence artificielle.
L’argument en faveur du scaling
L’analyse d’Altman repose sur l’idée que, au début des années 2010, de nombreux chercheurs privilégiaient les fondements théoriques au détriment du scaling pratique, estimant que des modèles plus petits suffiraient. Il a suggéré que cette approche a créé un goulot d’étranglement, le domaine ne percevant pas comment l’augmentation de la taille des modèles pouvait débloquer des capacités autrefois jugées impossibles. La réussite d’OpenAI — utilisant un LLM massif pour résoudre un problème mathématique considéré comme insoluble pour les machines — illustre parfaitement son propos. Altman présente cela comme une preuve que le scaling n’est pas seulement bénéfique, mais indispensable pour repousser les limites de l’IA.
Repenser les priorités
Le débat met en lumière une tension plus large dans la recherche en IA : concilier l’exploration théorique et le scaling pragmatique. Les détracteurs soulignent que la dépendance excessive au scaling risque de négliger des défis fondamentaux comme l’alignement, la sécurité ou l’efficacité. Pourtant, Altman et les partisans du scaling estiment qu’une croissance agressive des modèles est indispensable pour éviter un progrès incrémental. L’exemple d’OpenAI, bien que remarquable, révèle aussi l’importance d’une collaboration interdisciplinaire, mêlant rigueur mathématique et ambition technique.
Un changement de cap
Les propos d’Altman indiquent un possible virage dans le paysage de la recherche en IA. En mettant l’accent sur le potentiel transformateur du scaling, il invite la communauté à réévaluer ses priorités. Si les sceptiques mettent en garde contre l’idée que le scaling serait une solution miracle, cette discussion reflète une reconnaissance croissante : approches théoriques et appliquées sont toutes deux cruciales. À l’avenir, le défi consistera à harmoniser ces perspectives pour faire du scaling un levier plutôt qu’un simple pis-aller. Pour l’instant, la vision d’Altman propose une feuille de route audacieuse pour redéfinir la trajectoire de l’IA.
Source : The Decoder. Synthèse éditoriale assistée par IA — TechnoExpress.