Meituan dévoile LongCat-2.0 : un modèle de 1,6 T de paramètres pour le codage agentique
Meituan a présenté LongCat-2.0, un modèle de langage MoE (Mixture-of-Experts) à grande échelle révolutionnaire, conçu pour les tâches de codage agentique. Avec 1,6 trillion de paramètres et une fenêtre contextuelle native d’1 million de jetons, le modèle vise à révolutionner la compréhension, la génération et l’exécution de code au sein des systèmes agents. Entièrement développé sur des supercalculateurs ASIC d’IA domestiques, LongCat-2.0 promet efficacité et stabilité, marquant une avancée majeure par rapport à son prédécesseur, LongCat-Flash (560 milliards de paramètres).
Innovations architecturales
La conception du modèle privilégie une évolutivité économique grâce à quatre innovations clés. Les experts sans calcul optimisent le traitement en redirigeant les jetons simples (comme la ponctuation) vers des chemins de calcul minimaux, tandis que les jetons complexes sollicitent des experts à plus forte capacité. Un contrôleur PID ajuste dynamiquement l’activation des experts, offrant une fenêtre d’activation flexible entre 33 et 56 milliards de paramètres. L’architecture ScMoE améliore davantage le débit, et l’attention éparse de LongCat (LSA) réduit les besoins mémoire en sélectionnant les jetons pertinents, permettant une progression quasi linéaire pour la fenêtre de 1 million de jetons.
Résultats des benchmarks
Meituan affirme que LongCat-2.0 excelle dans les tâches d’ingénierie logicielle, surpassant GPT-5.5 sur SWE-bench Pro (59,5 contre 58,6) et égalant les performances de Gemini 3.1 Pro. Toutefois, il reste en retrait face aux systèmes leaders sur des benchmarks plus larges comme FORTE et BrowseComp. Le modèle intègre également un module d’intégration de type N-gram de 135 milliards pour capturer les relations locales entre jetons, réduisant les entrées/sorties mémoire lors du décodage à grande échelle.
Infrastructure matérielle et stabilité
L’entraînement et le déploiement ont été réalisés exclusivement sur des supercalculateurs ASIC d’IA chinois, soulignant la compatibilité du modèle avec des infrastructures non-Nvidia. Meituan met en avant sa stabilité, citant l’absence de retards ou de pics de performance pendant l’apprentissage supervisé — un atout crucial dans des environnements d’outils moins matures. Pour le déploiement, le modèle utilise un parallélisme 6D et des architectures de préremplissage-décodage pour minimiser la latence.
LongCat-2.0 illustre l’engagement de Meituan dans les flux de travail avancés pilotés par l’IA, alliant innovation technique et dépendance stratégique au matériel domestique. Si ses performances dans les tâches de codage spécialisées sont prometteuses, leur validation sur des benchmarks industriels plus larges reste à confirmer.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.