Moonshot AI dévoile Kimi K3, un modèle MoE ouvert à 2,8 T avec un contexte d’1 million
Moonshot AI repousse à nouveau les limites des modèles de pointe avec Kimi K3, le premier modèle ouvert à mélange d’experts (MoE) de la classe des 3 000 milliards de paramètres à atteindre 2,8 billions de paramètres actifs, une prise en charge native de la vision et une fenêtre contextuelle native d’un million de jetons. L’équipe présente K3 comme une avancée majeure pour le codage à long terme, les travaux de connaissances complexes et le raisonnement en plusieurs étapes, tout en reconnaissant que ses performances globales restent inférieures à celles des meilleurs systèmes propriétaires actuels.
Architecture : Kimi Delta Attention et Attention Residuals
L’architecture de K3 repose sur deux nouveaux mécanismes : Kimi Delta Attention (KDA), une couche d’attention hybride linéaire que Moonshot affirme accélérer le décodage jusqu’à 6,3 fois dans des contextes d’un million de jetons, et Attention Residuals (AttnRes), qui récupère sélectivement des représentations tout au long de la profondeur du modèle au lieu de les accumuler uniformément. Associés à Stable LatentMoE — qui active seulement 16 experts sur 896 via un équilibrage par quantiles —, ces éléments visent à améliorer à la fois le débit et l’efficacité d’entraînement, offrant environ 2,5 fois une meilleure évolutivité globale que son prédécesseur K2. Côté déploiement, Moonshot a intégré dès le départ un entraînement prenant en compte la quantification, en utilisant des poids MXFP4 et des activations MXFP8 pour une compatibilité matérielle étendue, et recommande des grappes supernœuds équipés de 64 accélérateurs ou plus.
Résultats et limites
Dans la suite d’évaluations de Moonshot, K3 surpasse systématiquement les autres modèles ouverts testés, mais les comparaisons directes avec les systèmes propriétaires révèlent des écarts. Selon les scores publiés, K3 domine sur Program Bench, SWE Marathon, BrowseComp, Automation Bench et OmniDocBench, est devancé par Fable 5 sur FrontierSWE et HLE-Full, et se classe derrière GPT 5.6 Sol sur DeepSWE. Moonshot souligne que certains benchmarks appliquent des règles de repli ou une compression contextuelle, ce qui peut influencer les classements. L’équipe insiste sur le fait que tous les résultats de K3 reposent sur un effort de raisonnement maximal et invite à interpréter ces scores avec la prudence habituelle liée aux benchmarks.
Enjeux et perspectives
L’arrivée de Kimi K3 montre que les modèles ouverts peuvent désormais atteindre des régimes de plusieurs milliers de milliards de paramètres tout en supportant des contextes d’un million de jetons et une vision native, démocratisant des capacités autrefois réservées aux systèmes fermés. Pour les développeurs et chercheurs, cette version ouverte réduit la barrière à l’expérimentation en matière de raisonnement à long contexte et d’architectures MoE à grande échelle. Pour l’industrie, elle confirme la maturation d’un écosystème ouvert capable d’itérer rapidement sur des innovations architecturales comme Kimi Delta Attention et Attention Residuals, réduisant ainsi l’écart de performance avec les leaders propriétaires tout en restant transparent et reproductible.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.