Bonsai 27B réduit les modèles géants pour les téléphones et ordinateurs
PrismML a réduit Qwen3.6-27B à un point où il tient dans la mémoire d’une application mobile. La nouvelle gamme Bonsai 27B propose deux variantes : un modèle ternaire à 1,71 bit occupant 5,9 Go et un binaire à 1,125 bit occupant 3,9 Go. Aucune de ces versions ne nécessite de réentraînement et elles préservent l’architecture d’origine ainsi que la licence Apache 2.0.
Fonctionnement de la compression
Chaque poids est encodé sous forme d’un petit entier, mis à l’échelle par un facteur FP16 partagé toutes les 128 valeurs. Les poids ternaires utilisent –1, 0, +1 ; les binaires, –1, +1. Le facteur partagé n’ajoute que 16 bits par groupe, ce qui donne un débit effectif de 1,71 bit pour le ternaire et 1,125 bit pour le binaire, soit environ 9 et 14 fois plus léger que le FP16. Vision, plongements, projections d’attention, couches MLP et la tête du modèle de langage (LM head) appliquent le même schéma, tandis que les normalisations restent en haute précision.
Précision vs. empreinte mémoire
Sur 15 benchmarks en mode « réflexion », la version ternaire conserve 94,6 % des performances de référence du FP16, contre 89,5 % pour la version binaire. Les scores courts peuvent masquer des effondrements : une configuration classique à 2 bits s’effondre sur AIME26 (57,5) et LiveCodeBench (56,4), tout en atteignant 88,93 sur MMLU-Redux. Bonsai évite ce problème en conservant l’intégralité de l’entraînement initial.
L’importance des GPU embarqués
La mémoire, et non les calculs, est la contrainte majeure sur les smartphones. iOS limite une application à environ la moitié de la RAM, donc un iPhone de 12 Go expose environ 6 Go. Avec 262 000 jetons, le cache KV seul peut exploser : 17,2 Go en FP16 et 4,3 Go en 4 bits. Même ainsi, le ternaire atteint 14,7 Go et le binaire 11,6 Go, dépassant largement la limite. Avec les poids en bits ultra-réduits et un cache KV en 4 bits, PrismML fait passer les deux variantes sous le plafond, permettant une inférence locale là où c’était impossible auparavant.
Pourquoi c’est important
Bonsai 27B prouve qu’une quantification extrême ne nécessite plus de réentraînement coûteux. En préservant le modèle original et en compressant de bout en bout, PrismML transforme un LLM de 54 Go en une version exécutable sur smartphone, ouvrant la voie aux agents embarqués, aux chatbots privés et aux applications multimodales en temps réel, inaccessibles hier. Le compromis est mesurable : la version binaire perd 5 à 10 points sur les tâches complexes, mais l’accessibilité immédiate est un gain considérable.
Source : MarkTechPost. Synthèse éditoriale assistée par IA — TechnoExpress.