NVIDIA lance un modèle vocal en temps réel avec une latence inférieure à 0,5 seconde
NVIDIA a franchi une nouvelle étape vers un flux vocal plus naturel avec NemotronLabs VoiceChat 11B, un modèle open source de 11 milliards de paramètres capable de traiter la compréhension et la génération vocale en continu au sein d'un même réseau. Le système écoute tout en parlant, accepte les interruptions en cours d'énoncé et peut appeler des outils externes instantanément, avec une latence de prise de tour mesurée à 448 ms sur le benchmark Full-Duplex-Bench 1.0.
Un seul réseau, sans transfert
La plupart des agents vocaux enchaînent reconnaissance vocale automatique, modèle de langage (LLM) et synthèse vocale, ce qui génère des latences et une complexité d'orchestration. VoiceChat 11B simplifie ce processus en une pipeline unique : un encodeur Fast Conformer transmet l'audio à 16 kHz vers un LLM Nemotron Nano v2, qui prédit simultanément des tokens textuels et pilote un décodeur TTS produisant une parole à 22,05 kHz. Grâce à son architecture hybride Mamba/Transformer, entraînée sur environ 550 000 heures d'audio, le modèle peut commencer à générer des réponses avant la fin de l'énoncé de l'utilisateur et céder la parole instantanément en cas d'interruption.
Appels d'outils sans silence
Les appels d'outils s'effectuent via un canal dédié émettant un bloc <TOOLCALL> tandis que le canal audio principal continue de fonctionner. Les opérateurs peuvent préconfigurer des réponses de maintien que l'agent prononce dès qu'un appel d'outil est déclenché, évitant ainsi les blancs pendant les réponses des API. NVIDIA précise que cette fonctionnalité est limitée : pas plus de cinq outils par session, aucun appel simultané et aucune interruption utilisateur pendant l'exécution des outils. Les invites système et les réponses des outils doivent également être en ASCII et adaptées à la synthèse vocale.
Prêt pour les tests, mais pas pour la production (pour l'instant)
NVIDIA qualifie cette version de « réservée à des fins de recherche », en mentionnant des modes de défaillance documentés : plafond de contexte audio de deux minutes, dérive vers un charabia après plusieurs échanges, monologues incontrôlés et mots manquants dans les transcriptions. Les poids et le conteneur sont open source et sous licence permissive, mais le déploiement actuel est réservé aux équipes disposant d'un GPU de 80 Go ou plus (A100, H100, RTX 6000 Pro ou B200 sous x86_64 Linux). Aucune API hébergée n'est disponible, ce qui empêche les organisations sans accès à des GPU d'évaluer directement le modèle.
L'importance de cette avancée
VoiceChat 11B prouve qu'un modèle unifié peut rivaliser avec les architectures en cascade en termes de réactivité, tout en intégrant des appels d'outils en direct – un atout crucial pour les centres d'appels, les assistants embarqués et les outils d'accessibilité où la rapidité et la fluidité sont essentielles. La publication open source facilite l'expérimentation, mais les contraintes documentées et l'étiquette « recherche uniquement » rappellent que des agents capables de coupure instantanée restent un objectif en cours de maturation. Les équipes disposant de GPU de 80 Go peuvent désormais prototyper des expériences vocales de nouvelle génération avant que les solutions commerciales n'atteignent leur maturité.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.