Nvidia révèle les limites cachées de l’optimisation des coûts en IA
Les géants de la tech découvrent que le vrai prix de l’IA n’est pas le matériel, mais les tokens. Lors du GTC 2026 de Nvidia, le PDG Jensen Huang a proposé un test provocateur pour évaluer la rétention des talents : si un ingénieur coûtant 500 000 $ par an consomme moins de la moitié de son salaire en tokens IA, « je serai profondément inquiet ». Derrière cette provocation se cache une tension croissante : les entreprises substituent les salaires par des tokens, mais les rendements promis restent souvent hors de portée.
Le paradoxe des licenciements liés à l’IA
Alors que les hyperscalers prévoient de dépenser près de 700 milliards de dollars en infrastructure IA en 2026 — presque le double de l’année précédente — l’IA reste la première cause de licenciements aux États-Unis depuis quatre mois consécutifs. Meta, par exemple, a supprimé 8 000 postes en mai malgré une croissance de revenus de 33 %, justifiant ces coupes comme nécessaires pour financer l’expansion de l’IA. Pourtant, selon une enquête de Gartner menée auprès de 350 grands adopteurs d’IA, 80 % n’ont observé aucune amélioration des rendements après avoir réduit leurs effectifs. Le décalage est flagrant : réduire les coûts salariaux libère des budgets, mais ne crée pas de valeur.
Le côté tokens de l’équation raconte une histoire similaire. Uber a déployé des outils de codage par IA pour 5 000 ingénieurs en décembre 2026, seulement pour épuiser son budget IA 2026 dès avril. Malgré 70 % du code promis généré par l’IA, le directeur des opérations Andrew Macdonald a admis : « Ce lien [avec les résultats concrets pour les clients] n’existe pas encore. » La leçon ? Les entreprises ont supposé que la facture de tokens était fixe et que la main-d’œuvre était flexible. En réalité, c’est l’inverse qui se vérifie.
Où l’efficacité rencontre l’opportunité
Le fruit le plus accessible est la mise en cache des requêtes, qui permet de traiter une seule fois le contenu statique comme les instructions système ou les documents de référence, puis de le réutiliser. Selon les tarifs d’Anthropic et d’OpenAI, cela peut réduire les coûts de jusqu’à 90 % pour les entrées répétées. La société de cybersécurité ProjectDiscovery a porté son taux de succès de cache de 7 % à 84 % grâce à une restructuration des requêtes, diminuant ses dépenses totales en LLM de 59 à 70 % tout en traitant 9,8 milliards de tokens mis en cache.
Un autre levier est le routage des modèles. Les modèles phares peuvent coûter cinq fois plus cher par token que leurs versions plus petites, alors que de nombreuses charges de travail utilisent par défaut le niveau le plus onéreux pour des tâches comme la classification ou la synthèse. Le traitement par lots offre une réduction supplémentaire de 50 % pour les besoins non temps réel, tandis que la génération augmentée par récupération limite les entrées aux seules données pertinentes, réduisant ainsi le gaspillage de tokens.
Pourquoi cela compte
Les enjeux dépassent la simple question de coûts. Les entreprises qui alignent leurs budgets IA sur des titres accrocheurs sans optimiser l’efficacité des tokens risquent de brûler leur capital tout en érodant leur savoir-faire institutionnel. Le vrai levier réside non pas dans la réduction des équipes, mais dans l’optimisation de l’infrastructure invisible qui les alimente. Pour les dirigeants technologiques, le message est clair : avant le prochain plan social, auditez le budget des tokens. Les économies — et l’expertise préservée — pourraient s’avérer bien plus précieuses que les suppressions d’emplois elles-mêmes.
Source : AI News. Synthèse éditoriale assistée par IA — TechnoExpress.