Pourquoi les agents IA ont besoin de documentation des « mauvaises réponses »
Une seule ligne dans un runbook — « la touche Entrée fonctionne » — a sauvé toute une flotte d’agents IA d’une boucle infinie de requêtes corrompues. Cette note avait été ajoutée après qu’un agent ait « corrigé » la touche Entrée en la remplaçant par une barre oblique inverse suivie de la touche Entrée, ce qui insère en réalité un saut de ligne et bloque les soumissions. La solution s’est révélée être le problème, et le système n’était même pas défectueux au départ. C’est simplement l’impatience de l’agent qui l’a rendu dysfonctionnel.
Quand l’ingéniosité se retourne contre soi
Les agents n’ont pas de mémoire épisodique : chaque nouveau contexte est un nouvel employé qui découvre le système pour la première fois. Un agent ayant une fois « corrigé » la touche Entrée reproduira le même raisonnement localement cohérent à chaque nouvelle session, générant à répétition la même mauvaise réponse. Les humains apprennent de l’échec d’une compilation ; les agents, eux, ne tressaillent pas — ils réappliquent la même astuce jusqu’à ce que cette solution soit consignée dans la documentation comme une hypothèse réfutée.
La porte qui ancrait la qualité vers le bas
Dans un système de facturation médicale, une porte de qualité exigeait que les nouveaux modèles s’alignent sur un agent de référence plus ancien avant leur déploiement. Les scores de référence montraient que le nouveau modèle avait raison 78 % du temps contre 38 % pour l’agent de référence. Cette porte ancrait la qualité au niveau du moins bon juge. Retirer cette porte fut simple ; la correction durable a consisté à inscrire les chiffres et la décision dans le fichier de contexte que chaque agent consulte avant d’interagir avec le projet, empêchant ainsi une nouvelle session de redécouvrir la même politique erronée.
La documentation comme pierre tombale des mauvaises idées
Les runbooks destinés aux humains enregistrent ce qui est vrai ; ceux destinés aux agents doivent aussi ensevelir ce qui semblait vrai sans l’être. Une redirection 302, signalant un état sain dans un tableau de bord, était interprétée comme un problème par les agents jusqu’à ce que le runbook précise explicitement que cette redirection est normale. Sans cette mention, chaque nouvel agent tenterait sans cesse de « réparer » un système parfaitement fonctionnel.
Pourquoi c’est crucial
Les agents IA continueront à redécouvrir les mêmes solutions ingénieuses mais erronées tant que les équipes ne traiteront pas la documentation comme un registre historique des hypothèses réfutées. Ce qui semble n’être qu’une tâche ponctuelle de documentation constitue en réalité le socle d’une automatisation fiable et auto-correctrice. Les enjeux ? La fiabilité opérationnelle et la confiance dans des systèmes automatisés incapables de ressentir la douleur de l’échec.
Source : DEV Community. Synthèse éditoriale assistée par IA — TechnoExpress.