Contexte technique
Je me suis plongé dans la sortie de NVIDIA avec une question pratique : peut-on l'utiliser pour créer une véritable automatisation par IA, et pas seulement une autre démo sur un seul écran ? Il semble que oui. Nemotron-3 Nano Omni est un modèle multimodal open source de 30 milliards de paramètres, mais avec seulement 3 milliards d'actifs, ce qui signifie que son coût de calcul est bien plus modeste que ce que ses spécifications suggèrent.
Ce qui a attiré mon attention, ce n'est pas seulement sa multimodalité, mais la tentative de NVIDIA de tout regrouper en un seul appel : texte, images, vidéo, audio, documents, graphiques et même les interfaces graphiques. Fini le zoo de modèles de vision et de parole séparés qu'il faut ensuite rafistoler avec les moyens du bord.
L'architecture est hybride : MoE plus une combinaison Transformer-Mamba, avec ses propres encodeurs pour la vision et l'audio, et Conv3D et EVS pour le traitement vidéo. Sur le papier, cela offre le principal avantage pour les systèmes d'agents : un contexte long allant jusqu'à 256K tokens et une perception unifiée des différents types d'entrées en une seule session.
Et c'est là que j'ai vraiment été interpellé. Si un modèle peut gérer une longue conversation, un enregistrement d'appel, une pile de PDF, des diapositives, une capture d'écran d'interface et raisonner par-dessus tout cela, alors l'implémentation de l'IA cesse d'être un jouet pour des équipes de niche et commence à ressembler à la base d'agents prêts pour la production.
Dans les benchmarks, NVIDIA revendique un débit jusqu'à 9 fois supérieur à celui des modèles omni ouverts comparables, en particulier pour les scénarios vidéo et multi-documents. De plus, il inclut un mode de raisonnement, l'appel d'outils et une API compatible avec OpenAI, ce qui devrait faciliter son intégration dans une architecture IA existante par rapport aux nouvelles familles de modèles.
J'apprécie particulièrement le fait que la sortie soit ouverte : poids, jeux de données, techniques d'entraînement. Pour ceux qui construisent des systèmes sur site ou qui souhaitent un ajustement fin pour leurs documents, interfaces et scénarios de domaine spécifiques, ce n'est plus seulement du marketing, mais une véritable option d'ingénierie.
Ce que cela change pour l'entreprise et l'automatisation
Le premier avantage est évident : moins de "bricolage" dans le pipeline. Si une seule couche de modèle ouvert comprend déjà les documents, les écrans, la voix et la vidéo, alors l'intégration de l'IA dans les processus de support, de conformité ou de back-office devient moins chère et plus robuste.
Le deuxième point concerne l'edge et la souveraineté des données. NVIDIA cible directement Jetson, DGX Spark et les déploiements sur site/hybrides. Pour les entreprises qui ne veulent pas envoyer les interfaces des opérateurs, les enregistrements d'appels et les documents internes dans le cloud, c'est un argument très fort.
Ici, les perdants, curieusement, ne seront pas les concurrents, mais les équipes qui continuent d'assembler des systèmes d'agents à partir de cinq modèles différents et de huit services intermédiaires. J'ai déjà analysé de tels systèmes : ils ne tombent pas en panne pendant la démo, mais lors de la troisième semaine de production.
Mais il n'y a pas de magie. Pour qu'un tel modèle fonctionne réellement en entreprise, il faut configurer correctement le routage, l'utilisation des outils, la gestion des erreurs, la latence et les droits d'accès. Chez Nahornyi AI Lab, nous résolvons précisément ces goulots d'étranglement pour nos clients : en déterminant où un agent local est nécessaire, où le cloud est suffisant et où il vaut mieux ne pas impliquer de LLM du tout.
Si vous envisagez déjà des agents multimodaux pour les documents, les interfaces graphiques ou les appels et que vous ne voulez pas transformer le projet en un coûteux casse-tête, nous pouvons prendre votre processus et l'analyser sereinement pour en faire un plan de développement de solution IA viable. Chez Nahornyi AI Lab, c'est généralement par là que je commence : identifier où le modèle fait réellement gagner du temps aux gens, et où il vaut mieux le laisser de côté.