Tencent lance Hy3 : un modèle MoE de 295 milliards de paramètres pour le raisonnement
L’équipe de recherche en IA de Tencent, Hy, a rendu public Hy3, un modèle Mixture-of-Experts (MoE) de 295 milliards de paramètres qui n’active que 21 milliards de paramètres par jeton. Disponible sous licence Apache 2.0, ce modèle cible les tâches nécessitant un raisonnement approfondi, les flux de travail automatisés et les applications à long contexte (jusqu’à 256 000 jetons).
Conçu pour l’efficacité et l’évolutivité
Hy3 utilise une architecture MoE éparse composée de 192 experts, n’en activant que huit par jeton grâce à un routage top-8 pour limiter les coûts de calcul. Une couche de prédiction multi-jetons accélère le décodage en générant plusieurs jetons simultanément, avec un support via vLLM et SGLang grâce au décodage spéculatif. Le modèle est livré avec des poids en BF16 et une version distincte en FP8 pour réduire les coûts de déploiement sans perte de précision.
Performances solides sur les benchmarks et en conditions réelles
Pour les tâches de programmation, Hy3 affiche un score de 78,0 sur SWE-Bench Verified, 57,9 sur SWE-Bench Pro et 75,8 sur SWE-Bench Multilingual. Ses résultats en STEM et en raisonnement incluent 90,4 sur GPQA Diamond et 72,0 sur USAMO 2026. Lors d’une comparaison à l’aveugle impliquant 270 experts et 312 évaluations de workflows réels, Hy3 a obtenu une note moyenne de 2,67 sur 4, surpassant GLM-5.1 (2,51), notamment sur le développement frontend, les pipelines CI/CD et les tâches relatives aux données et au stockage.
Améliorations de la fiabilité pour un usage en production
Tencent a optimisé le comportement de Hy3 pour une utilisation industrielle, réduisant les échecs d’appels d’outils et les risques de boucles infinies dans les flux de travail automatisés. Les taux d’hallucinations sont passés de 12,5 % à 5,4 %, tandis que les erreurs de bon sens ont chuté de 25,4 % à 12,7 %. Le suivi des intentions sur plusieurs tours a également progressé, avec une baisse des taux de problèmes de 17,4 % à 7,9 % et une hausse des scores de dialogue MRCR de 42,9 % à 75,1 %.
Déploiement simplifié avec des API compatibles OpenAI
Hy3 propose un point de terminaison compatible avec les API OpenAI et peut être servi via vLLM ou SGLang. Un simple paramètre reasoning_effort contrôle le niveau de réflexion du modèle : no_think pour des réponses directes, ou high pour des tâches mathématiques ou multi-étapes. L’équipe recommande un effort élevé pour le codage ou les raisonnements complexes.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.