Cisco lance FAPO, un outil d’IA pour automatiser l’optimisation des invites des LLMs
L’obtention des bonnes invites reste le principal obstacle au déploiement d’applications fiables basées sur de grands modèles de langage. Un simple changement de formulation peut faire varier la précision de jusqu’à 20 %, et ce qui fonctionne sur quelques exemples peut échouer à grande échelle. Cisco AI relève ce défi avec FAPO, un système entièrement automatisé d’optimisation des invites exploitant des agents Claude Code. FAPO évalue les pipelines multi-étapes, identifie les points de défaillance, propose des variantes améliorées et les valide en boucle fermée jusqu’à atteindre la précision souhaitée. Le projet est distribué sous licence Apache 2.0 et prend également en charge Codex comme agent d’optimisation.
Fonctionnement de la boucle d’optimisation
FAPO opère comme un framework multi-locataires où chaque projet est isolé dans son propre répertoire, contenant les invites, jeux de données, définitions de chaînes, systèmes de notation et configurations. Le moteur central, nommé Hephaestus, gère l’évaluation, l’exécution des chaînes et la notation auprès de fournisseurs comme OpenAI, Baseten et SageMaker. Les utilisateurs n’ont qu’à fournir un jeu de données composé d’entrées et de sorties attendues, que FAPO divise en un ensemble de validation pour les itérations et un ensemble de test réservé pour l’évaluation finale. À partir d’une description de tâche, Claude Code peut automatiquement générer l’invite, la chaîne et le système de notation initiaux.
Amélioration progressive de la précision avec FAPO
Le processus d’optimisation suit une boucle en six étapes : évaluer les performances sur le jeu de données, attribuer les échecs à leurs causes racines à l’aide d’heuristiques et d’analyses par LLM, proposer des variantes ciblées, examiner les propositions pour éviter les fuites de données, comparer avec la meilleure version précédente, et itérer jusqu’à atteindre l’objectif ou épuisement du budget. FAPO progresse selon trois niveaux – d’abord des modifications d’invites, puis des ajustements de paramètres, et enfin des changements structurels du pipeline –, guidés par l’attribution des échecs à chaque étape.
Dans les évaluations de Cisco, FAPO a surpassé GEPA, un optimiseur d’invites leader, sur 15 des 18 comparaisons modèle-benchmark, avec un gain moyen de 14,1 points de pourcentage. Sur les benchmarks nécessitant des modifications de pipeline, il a remporté les six comparaisons avec un gain moyen de 33,8 points, tandis que la seule victoire de GEPA sur AIME s’est située dans la marge d’erreur d’échantillonnage. Pour éviter le surapprentissage, FAPO impose des garde-fous stricts comme l’inspection exclusive des données d’entraînement et l’immutabilité des fichiers de variantes.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.