Contexte technique
J'ai tout de suite accroché non pas pour l'effet wahou, mais pour l'idée architecturale : on peut désormais parler d'implémentation de l'IA non seulement dans le cloud, mais aussi sur du matériel à deux sous. La discussion a montré l'exécution de DeepSeek 4 Flash sur un Raspberry Pi 8GB avec SSD, où les poids du modèle s'appuient en réalité sur un stockage flash rapide au lieu d'essayer de résider entièrement en RAM.
Et c'est là que j'ai fait une pause. D'après les données publiques, une base normale, bien que pas record, pour un Pi 5 serait plutôt un DeepSeek R1 1.5B ou 7B en version quantifiée via Ollama, pas un monstre de pointe en frontal. Pour la V4 Flash spécifiquement sur Pi, je ne vois pas de mesures reproductibles fiables, seulement une affirmation dans un post X sans benchmark clair.
Donc le fait est conceptuellement plausible : NVMe via PCIe, poids sur SSD, ensemble de travail actif en mémoire, forte dépendance à la bande passante et au refroidissement. Mais il ne faut pas confondre cela avec de la magie. Ici, le flash ne remplace pas la RAM, il repousse le plafond de ce qu'on peut exécuter, même si c'est lentement.
Si l'on regarde les chiffres déjà confirmés, un Raspberry Pi 5 atteint généralement environ 6-9 tok/sec pour le 1.5B et environ 1.4-3 tok/sec pour le 7B. Pour de nombreux cas d'usage conversationnels, c'est douloureusement lent. En revanche, pour un orchestrateur local qui ne bavarde pas mais prend des décisions rares, le tableau est tout autre.
J'ai particulièrement aimé le schéma : de petits agents locaux font les choses rapides en mémoire, tandis qu'un cerveau plus lent mais plus intelligent siège au-dessus et n'intervient que lorsqu'un choix complexe est nécessaire. Cela ressemble moins à un jouet et davantage à une véritable architecture IA.
Impact sur les affaires et l'automatisation
Ce montage ne tue pas les API. Mais dans les scénarios sans Internet, avec des exigences de confidentialité ou un besoin d'autonomie au niveau du dispositif, l'automatisation IA locale commence soudain à paraître très pratique.
Qui y gagne : les capteurs industriels, les appareils de terrain, l'agro-automatisation, les bancs de laboratoire, tous les scénarios edge avec des décisions rares mais à fort enjeu. Qui y perd : les interfaces de chat avec dialogue continu et tout ce qui exige une génération rapide en temps réel.
J'ajouterais également un point important sur le coût. Parfois, il est plus avantageux de garder un cerveau local lent et de n'envoyer au dehors que des événements, plutôt que de payer constamment une API et de dépendre du réseau, des SLA et des politiques du fournisseur.
Mais ce n'est pas un truc qu'on bricole en une soirée et qu'on considère prêt. Cela exige d'assembler soigneusement l'orchestration, la mémoire, les scénarios de dégradation, la consommation d'énergie et la logique de repli. Chez Nahornyi AI Lab, c'est précisément ce que nous construisons pour nos clients : si vous avez un dispositif ou un processus nécessitant une intégration d'intelligence artificielle autonome sans connexion cloud permanente, je vérifierais déjà s'il est possible de le confier à une approche hybride avec Vadym Nahornyi, pendant que vos concurrents débattent encore pour savoir si 2 tokens par seconde suffisent.