MORPHEUS pousse les agents IA à apprendre comme des entreprises réelles
La plupart des évaluations en apprentissage par renforcement réinitialisent l'environnement après chaque épisode—une approche éloignée des opérations réelles. La plateforme MORPHEUS de Skyfall AI innove en proposant une simulation d'entreprise persistante, sans réinitialisation, contraignant les agents IA à apprendre en continu sous une non-stationnarité structurée.
Un monde qui ne se réinitialise jamais
MORPHEUS s'appuie sur l'hypothèse du Big World, selon laquelle la complexité du monde réel dépasse les capacités d'un modèle unique. La plateforme intègre trois propriétés fondamentales : persistance, non-stationnarité et complexité opérationnelle. Les décisions passées influencent les dynamiques futures, rendant l'environnement non stationnaire même lorsque ses règles sous-jacentes restent stables. Les agents doivent ainsi mettre à jour leurs politiques en temps réel, sans dépendre de réinitialisations périodiques.
Chaque environnement est fourni sous forme de greffon TypeScript autonome, exposant des Descripteurs Opérationnels (OD). Ces descripteurs définissent les plans d'exécution des fonctionnalités, et chaque action d'un agent déclenche une étape OD. La non-stationnarité est pilotée par deux moteurs : un moteur d'injection de défaillances qui insère des perturbations typées (données manquantes, limites de débit) à des taux prédéfinis, et un contrôleur de changement de configuration asynchrone qui modifie les paramètres de défaillance et la demande à des horodatages fixes. Ces mécanismes sont délibérément découplés des boucles d'entraînement pour éviter que les agents n'exploitent la périodicité des mises à jour.
Des récompenses alignées sur les opérations réelles
Les agents sont évalués via une récompense composite combinant trois vérificateurs opérationnels enregistrés nativement par la plateforme : signaux d'événements de défaillance, état du registre financier et débit des ressources. Les poids par défaut privilégient la réduction des défaillances (50 %), le contrôle des coûts (25 %) et l'optimisation de la capacité (25 %), avec des composantes tronquées pour limiter le score entre –1 et 1. Dans des conditions idéales—zéro défaillance, coût minimal, débit maximal—la récompense maximale par configuration est de 0,50.
L'espace d'actions étant vaste, un apprentissage par renforcement pur depuis zéro est irréaliste. Skyfall AI contourne ce problème grâce à un pipeline en deux étapes : un modèle frontalière (Gemini 3.1 Pro) collecte des trajectoires via le cadre ReAct, puis ces traces affinent Qwen3-14B via un apprentissage supervisé. Chaque nouvelle phase d'apprentissage par renforcement démarre ensuite de cette base partagée, isolant ainsi le comportement d'apprentissage continu de la compétence opérationnelle de base.
Six indicateurs pour mesurer les performances en non-stationnarité
Une récompense cumulée seule masque les performances sur un horizon dynamique. L'équipe de recherche propose donc six indicateurs : récompense par configuration, vitesse d'adaptation, oubli, temps de récupération, stabilité et écart de performance. Ces métriques visent à évaluer la rapidité d'adaptation des agents, leur propension à l'oubli et la stabilité de leurs performances face à des changements persistants.
Pourquoi c'est important
MORPHEUS révèle un angle mort majeur des évaluations actuelles en apprentissage par renforcement : l'hypothèse selon laquelle les environnements se réinitialisent. En contraignant les agents à évoluer dans une complexité réaliste et ininterrompue, Skyfall AI oriente le domaine vers des systèmes capables d'apprendre en situation réelle. Pour les entreprises déployant des IA, la plateforme offre un moyen de tester rigoureusement leurs agents dans des conditions reflétant les opérations, et non des simulations édulcorées. Le passage d'un apprentissage épisodique à un apprentissage continu pourrait redéfinir la façon dont l'IA est entraînée et validée dans les environnements industriels.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.