Modèles d'IA à Grammaire : Naviguer dans l'Objection Chomsky
Ces dernières années, l'industrie de l'IA a travaillé tranquillement autour d'une objection philosophique critique connue sous le nom d'Objection Chomsky. La question fondamentale en jeu est de savoir si la restriction de la sortie d'un modèle d'IA pour suivre certaines règles grammaticales l'imprégne réellement de sens ou de compréhension. Cet article explore comment les modèles de langage sont limités par les grammaires pour s'assurer que leurs résultats restent valides et sémantiquement cohérents.
Une approche simple consiste à masquer les logits du prochain modèle de langue de sorte que seuls les jetons dont la suite peut satisfaire une grammaire formelle restent sélectionnables à chaque étape de génération. La production est, par construction, structurellement valable. Par exemple, la bibliothèque Python Outlines permet aux utilisateurs de filtrer la génération de texte à partir de schémas JSON ou de modèles Pydantic, garantissant que le texte généré adhère à des structures spécifiques comme les objets Person (nom, âge, ville).
L'Objection Chomsky soutient que la contrainte d'une sortie du modèle en fait une approche sensée. Cependant, cette technique d'ingénierie a recueilli le soutien de la littérature universitaire et des applications du monde réel. Un essai de mars 2023 dans le New York Times de Chomsky lui-même illustre ce point de vue, prônant l'idée que le filtrage de séquences linéaires de texte peut construire la structure et conduire à la compréhension.
Dans les pipelines d'agents de production et les processus d'extraction structurés, le décodage imposé par la grammaire est maintenant une pratique courante dans divers secteurs comme les finances, les soins de santé et le commerce électronique. Des entreprises comme Outlines, llguidance (Microsoft), lm-format-enforcer, et llama.cpp.s grammaires GPNF sont parmi les bibliothèques soutenant cette technique.
Alors que certains membres de la communauté de l'IA soutiennent que restreindre les résultats pour suivre des grammaires formelles peut conduire les modèles à mieux comprendre en imitant les processus de création du langage humain, d'autres demeurent sceptiques. Ce débat se poursuit alors que les chercheurs cherchent un équilibre entre les applications pratiques et les préoccupations philosophiques quant à ce que signifie pour un modèle d'IA une véritable signification ou compréhension.
Au fur et à mesure que la technologie progressera, ces contraintes évolueront probablement davantage, ce qui pourrait donner de nouveaux aperçus de la nature des modèles d'IA et de leur capacité à produire des extrants cohérents qui sont significatifs sur le plan technique et sémantique.
Source : DEV Community. Synthèse éditoriale assistée par IA — TechnoExpress.