Pourquoi votre « PC IA » échoue sur de vraies charges de LLM
Les modèles de langage locaux semblent offrir un avantage en matière de confidentialité, mais les chiffres racontent une autre histoire : c’est le temps de préremplissage – et non la génération brute – qui détermine si une session semble utilisable. Sur une série de machines grand public exécutant le même modèle Gemma de 26 milliards de paramètres, la vitesse de préremplissage variait de 20 tokens par seconde sur un ordinateur portable « PC IA » à 360 tok/s sur un bureau haut de gamme, tandis que les taux de génération restaient dans une fourchette étroite. La différence ne se manifeste que lorsque les invites dépassent quelques milliers de tokens, transformant ce que les marketeurs appellent un « PC IA » en une attente de plusieurs minutes.
Préremplissage vs génération : le goulot d’étranglement caché
L’inférence se divise en deux phases. Le préremplissage tokenise l’invite et construit le cache de paires clé-valeur avant l’apparition de toute sortie ; il est limité par la puissance de calcul et nécessite un GPU rapide. La génération, elle, produit les tokens un par un et est limitée par la bande passante mémoire. Pour une conversation informelle avec des invites courtes, cette distinction est invisible, mais une fois que la longueur du contexte dépasse 4 000 à 8 000 tokens, le préremplissage domine la latence totale. Sur l’ordinateur portable équipé d’un AMD Ryzen 7 8840U et d’un GPU Radeon 780M, le préremplissage peinait à ~20 tok/s, si bien qu’une invite système de 10 000 tokens nécessitait huit à douze minutes de silence avant l’apparition de la première réponse.
Le stockage peut vous bloquer avant même que le GPU ne s’active
Le chargement du modèle dépend de la vitesse de stockage, et non de la puissance de calcul. Une image Gemma de 18 Go était chargée en huit secondes depuis un NVMe contre 50 secondes depuis un SSD SATA. Sur la machine plus lente, chaque appel à froid subissait cette pénalité de rechargement, sauf si le programme maintenait le modèle en mémoire ; définir OLLAMA_KEEP_ALIVE=24h est devenu une nécessité plutôt qu’une optimisation.
Marketing vs réalité : ce qu’un « PC IA » accélère vraiment
Le même ordinateur portable est commercialisé comme un « PC IA » grâce à une NPU XDNA intégrée, annoncée jusqu’à 16 TOPS. Pourtant, les outils grand public d’exécution de LLM ne dispatchent pas vers cette NPU, et le taux de préremplissage du CPU (~20 tok/s) rend caduque toute performance annoncée en TOPS. Le label AI-PC de Microsoft exige au moins 40 TOPS, mais cette métrique mesure des tâches de vision toujours actives comme le flou d’arrière-plan – et non l’inférence sur des modèles à plusieurs milliards de paramètres.
Pourquoi cela compte
Pour les développeurs ou les utilisateurs soucieux de confidentialité qui attendent des LLM locaux la gestion de longs documents ou d’invites système, le point de blocage n’est presque jamais le débit brut du GPU, mais bien la phase de préremplissage et le stockage qui la supporte. Tant que les outils ne bénéficieront pas d’un déport efficace vers une NPU ou un GPU basse consommation – ou tant que le NVMe ne sera pas universel – la promesse du « PC IA » restera largement théorique pour les charges de travail réelles.
Source : DEV Community. Synthèse éditoriale assistée par IA — TechnoExpress.