OpenAI relance le débat avec GPT-5.6 Sol sur ARC-AGI-3
Une nouvelle vague d’évaluations de l’IA relance le débat sur l’équité des tests. La dernière variante GPT-5.6 Sol d’OpenAI affiche un taux de réussite de 38,3 % sur l’épreuve ARC-AGI-3 — plus de quatre fois supérieur à celui d’Opus 5 d’Anthropic — mais uniquement avec la dernière API d’OpenAI et deux réglages non divulgués. Dans une configuration neutre, le modèle n’atteint que 7,8 %, illustrant comment des détails d’implémentation peuvent fausser radicalement les résultats.
Le différend autour des évaluations
ARC Prize, l’organisme derrière ARC-AGI-3, présente son test comme neutre vis-à-vis des fournisseurs, conçu pour mesurer le raisonnement abstrait des systèmes d’IA. Pourtant, les tests internes d’OpenAI suggèrent que l’environnement officiel pourrait reposer sur une API obsolète, pénalisant potentiellement les modèles récents. L’entreprise affirme que l’activation de ses dernières fonctionnalités et deux configurations supplémentaires — non documentées publiquement — donne une image plus fidèle de ses capacités actuelles. Anthropic n’a pas encore réagi publiquement à cette comparaison.
Ce que révèlent vraiment les chiffres
Le score de 38,3 % obtenu dans les conditions propriétaires d’OpenAI reste très éloigné des performances humaines, qui frôlent généralement 90 % sur ARC-AGI-3. Pourtant, l’écart entre le cadre personnalisé d’OpenAI et le test standardisé met en lumière une tension croissante : les benchmarks censés être équitables deviennent obsolètes à mesure que les modèles évoluent plus vite que leurs cadres d’évaluation. Sans protocoles transparents et régulièrement mis à jour, les classements risquent de refléter des avantages liés aux outils plutôt que des capacités brutes.
Pourquoi est-ce important
Cet épisode révèle à quel point l’évaluation de l’IA reste fragile lorsque les détails d’implémentation ne sont pas figés. Pour les développeurs, la leçon est claire : les modèles de pointe peuvent surpasser leurs concurrents en conditions réelles tout en étant distancés dans les tests standardisés — ou l’inverse. Pour les utilisateurs et les régulateurs, cela souligne l’importance de méthodes d’évaluation transparentes et reproductibles, capables de suivre le rythme des mises à jour rapides des modèles. La polémique autour d’ARC-AGI-3 ne porte pas seulement sur les scores ; elle interroge la confiance dans les métriques qui façonnent le progrès de l’IA.
Source : The Decoder. Synthèse éditoriale assistée par IA — TechnoExpress.