Ce que Google a précisément ajusté
Je me suis plongé dans la mise à jour de Gemma 4 non par curiosité académique, mais parce que ce genre de sorties impacte directement l'implémentation de l'IA dans les systèmes réels. Si un modèle tient dans la mémoire d'un téléphone, d'un navigateur ou d'un boîtier edge compact sans complications, ce n'est plus une démo, mais un véritable outil d'ingénierie.
En substance, Google a publié Gemma 4 QAT, c'est-à-dire des versions entraînées en tenant compte de la quantification. Le plus important : E2B tient désormais dans environ 1 Go de mémoire en format mobile, et dans certaines configurations reste sous 1,5 Go sur des poids 2 et 4 bits avec des couches mappées en mémoire.
Ça devient plus intéressant. Ils ont ajouté la prédiction multi-tokens, et sur les GPU mobiles ils promettent jusqu'à 2,2x d'accélération du décodage, et jusqu'à 1,5x sur CPU. Pour l'inférence locale, ce n'est pas cosmétique : le décodage est souvent ce qui rend l'interface lente.
Un autre aspect sur lequel je me suis vraiment arrêté est TurboQuant. Google revendique jusqu'à 6x de compression grâce à son schéma de quantification, et ce n'est plus seulement une question de RAM mais aussi de stockage, de livraison du modèle sur l'appareil et de mises à jour en production.
La gamme est également logique : E2B et E4B pour le mobile et l'edge, 26B MoE avec 3,8B de paramètres actifs pour des scénarios plus sérieux, 31B pour le local et le serveur. De plus, ils ont réduit l'encodeur audio de près de moitié en taille de paramètres et encore plus sur le disque, ce qui rend le traitement vocal hors ligne sur l'appareil bien moins pénible.
Ce que cela change dans l'automatisation
Le premier effet est simple : davantage de scénarios peuvent être déplacés du cloud vers l'appareil. C'est utile là où la latence, la confidentialité ou une connexion instable sont importantes : interfaces de terrain, assistants mobiles, agents IA locaux, pipelines vocaux.
Le deuxième point concerne l'argent. Si un modèle est plus rapide et plus compact, l'architecture d'automatisation de l'IA devient moins chère non seulement pour l'inférence, mais aussi pour la maintenance : moins d'exigences matérielles, un déploiement plus simple, moins de surprises sur les appareils clients.
Les équipes qui construisent des produits offline-first et des services edge gagnent. Ceux qui conçoivent encore tout autour d'un seul LLM cloud lourd perdent, même si la tâche réclame depuis longtemps une boucle locale.
Je vois constamment de telles bifurcations : un modèle semble "le même", mais après un bon packaging, toute l'architecture des solutions IA change. Si vos processus butent sur la latence, la confidentialité ou le coût de l'inférence locale, n'hésitez pas à nous l'apporter chez Nahornyi AI Lab : avec mon équipe, nous pouvons vous aider à construire une automatisation IA qui vit sur votre matériel, et pas seulement belle dans une présentation.