Laguna S 2.1 : Le modèle 118B MoE surpasse les géants en programmation
Un modèle de 118 milliards de paramètres vient de surpasser des systèmes cinq à vingt fois plus grands sur des tâches de programmation à long terme, le tout en tenant sur une seule NVIDIA DGX Spark. Laguna S 2.1 de Poolside, un modèle Mixture-of-Experts épars qui n’active que 8 milliards de paramètres par jeton, atteint 78,5 % sur SWE-Bench Multilingual et 70,2 % sur Terminal-Bench 2.1 avec son mode « max » de réflexion activé par défaut. Les poids sont librement accessibles sous licence OpenMDW-1.1 sur Hugging Face, avec des conversions officielles en GGUF et MLX pour élargir l’accessibilité.
Comment il reste léger tout en étant puissant
Contrairement aux modèles denses dont la puissance de calcul augmente avec chaque paramètre, Laguna S 2.1 ne route qu’environ 6,8 % de ses 118 milliards de poids totaux par jeton dans le réseau. Tous les paramètres restent résidents en mémoire, mais l’activation éparse maintient l’inférence rapide et économique. L’équipe l’a entraîné sur 4 096 GPU NVIDIA H200 en moins de neuf semaines et c’est la première version de Poolside à utiliser l’apprentissage par renforcement en précision FP8. Les poids officiels sont publiés en BF16, FP8, INT4 et NVFP4, ainsi que des modèles de brouillon DFlash pour une inférence encore plus rapide.
Le mode de réflexion compte — et consomme des jetons
Laguna S 2.1 propose deux modes : désactivé et max. Le mode max par défaut permet au modèle d’ajuster lui-même son budget de calcul pendant le raisonnement, faisant passer Terminal-Bench 2.1 de 60,4 % à 70,2 % et DeepSWE v1.1 de 16,5 % à 40,4 %. Ces gains se font au prix de trajectoires plus longues : les exécutions en mode réflexion ont en moyenne 249 000 jetons de complétion contre 99 000 sans ce mode. Poolside a également publié trois trajectoires brutes montrant le modèle construire un moteur de navigateur HTML/CSS fonctionnel à partir de zéro en 50 minutes, avec 181 étapes et sans intervention humaine.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.