Des pixels à la physique : l’IA apprend à simuler des scènes réelles en code
Une équipe de MirroS a révolutionné la façon dont les machines perçoivent les scènes physiques. Au lieu de traiter les vidéos comme des images plates ou les légendes comme des descriptions, leur nouvelle approche — baptisée Code-as-World — convertit des séquences réelles en simulations physiques exécutables. L’idée est simple mais puissante : les pixels ne sont que des indices de ce qui se passe, et non les mécanismes réels. Un modèle vidéo peut prédire des images futures sans jamais saisir la masse, la gravité ou les frottements — mais Code-as-World oblige le modèle à reconstruire l’enchaînement lui-même.
Repenser la représentation des scènes
Au cœur de cette innovation se trouve la représentation exécutable du monde (EWR), une structure tripartite qui encode une scène sous forme de code : composition (objets, leur géométrie, masse et frottements), évolution (états initiaux, forces, collisions) et apparence (paramètres de caméra, éclairage). Contrairement aux modèles vidéo traditionnels qui génèrent des pixels ou des légendes, ce code peut être exécuté dans le moteur de physique MuJoCo pour produire une trajectoire d’état complète. L’équipe souligne que les méthodes existantes — qu’il s’agisse de reconstruction 3D ou de génération de légendes — ne capturent que des fragments de la nature véritable d’une scène. Code-as-World en saisit la physique.
Une quête itérative pour la bonne simulation
Récupérer ce code exécutable à partir d’une vidéo n’est pas une tâche ponctuelle. MirroS la présente comme une recherche abductive : un agent propose une simulation, l’exécute, en génère le rendu, puis la compare à la vidéo originale. Cette boucle se répète jusqu’à cinq fois, affinant l’hypothèse du modèle à chaque itération. Des outils comme SAM 3 pour la segmentation d’instances, VGGT-Omega pour l’estimation de profondeur et SAM 3D pour les maillages 3D alimentent le pipeline de l’agent. Les écarts entre la simulation rendue et la vidéo réelle guident les révisions, garantissant que le code final corresponde à la réalité. Testée, cette approche agentique surpasse les échantillonnages indépendants sur des métriques comme le chevauchement d’objets et la précision des trajectoires.
Une nouvelle forme de données d’entraînement
La véritable percée réside peut-être dans ce que permettent ces simulations vérifiées. Contrairement à une vidéo brute, un code exécutable s’accompagne de labels physiques exacts — masse, vitesse, accélération — des données invisibles dans les pixels. MirroS exploite ces informations pour entraîner ses modèles, d’abord sur 73 335 paires QA dans l’espace image couvrant les propriétés des objets, puis directement sur le code. Résultat ? Leur modèle le plus performant, Code-as-World-VL-9B, obtient un score de 55,4 MRA sur le benchmark QuantiPhy, devançant Gemini-3.1 Flash (54,8) et dépassant de près de 15 points la meilleure référence open-source. Les versions 4B et 9B sont disponibles sous licence Apache 2.0 sur Hugging Face, destinées à la recherche et compatibles avec vLLM et les endpoints compatibles OpenAI.
Pourquoi c’est important
Ce n’est pas qu’un autre modèle de compréhension vidéo — c’est un changement vers une compréhension mécaniste des scènes. En transformant les vidéos en simulations physiques vérifiables, MirroS permet aux systèmes d’IA de raisonner sur le monde en termes de causes, et non seulement de corrélations. Pour des secteurs comme la robotique, les systèmes autonomes ou même la synthèse d’images, cela pourrait signifier des données d’entraînement plus fiables, un meilleur alignement entre perception et réalité, et des simulations non seulement plausibles, mais prouvables. La publication en open source réduit les barrières à l’expérimentation, mais le vrai défi sera de savoir si ces mondes exécutables peuvent s’étendre au-delà des conditions contrôlées du laboratoire. Si c’est le cas, nous pourrions enfin disposer d’un moyen de combler l’écart entre ce que l’IA voit et ce qu’elle comprend.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.