Contexte technique
J'ai tout de suite tiqué sur l'expression « transfert de connaissances compressé dans le prompt ». PEEK, c'est autre chose : ce n'est pas un hack de prompt ni un moyen de condenser des connaissances dans un prompt système pour l'automatisation par IA. C'est une méthode proxy qui évalue si un modèle connaît un fait, sans avoir à interroger le LLM lui-même sur des milliers de questions.
Leur approche est simple et donc intéressante. Je prends un fait, je le code avec un modèle d'embedding, puis une tête linéaire est entraînée sur cet embedding pour prédire la probabilité que le LLM cible « connaisse » ce fait. Ainsi, au lieu d'exécutions d'inférence coûteuses, j'obtiens une approximation de la carte des connaissances du modèle.
L'article revendique jusqu'à 90 % d'AUC et 86 % de précision, Linq étant le meilleur parmi les embedders, suivi de NVE2. Pour moi, ce qui est plus important que le chiffre lui-même, c'est la stabilité du signal : cela signifie qu'une partie des connaissances du modèle peut être extraite via un espace d'embedding externe, sans interroger constamment le LLM.
Et c'est là qu'on comprend pourquoi l'idée séduit les ingénieurs. Quand je conçois une architecture de solutions IA, je dois savoir non seulement si « le modèle est globalement intelligent », mais aussi où se trouvent ses lacunes factuelles spécifiques. PEEK aide à filtrer rapidement un grand nombre de faits pour déterminer ce qu'il vaut mieux couvrir avec une couche de retrieval et ce qui est déjà inhérent au modèle.
Impact sur le business et l'automatisation
Je vois l'effet pratique dans trois domaines. Premièrement : une vérification pré-déploiement moins chère. On peut savoir à l'avance où un agent risque d'halluciner et éviter de payer pour des tests sans fin via une API.
Deuxièmement : c'est utile pour choisir l'architecture. Si PEEK révèle des lacunes sur des faits spécifiques à un domaine, je ne discute pas avec le modèle, j'ajoute immédiatement un RAG, une validation ou une couche de connaissances spécialisée. Ainsi, l'implémentation de l'IA devient un véritable système d'ingénierie, et non plus un « on a installé un LLM et on prie ».
Troisièmement : les équipes qui créent des agents pour un domaine spécifique sont gagnantes. Celles qui tentent de combler les lacunes factuelles uniquement avec des prompts sont perdantes. Ça ne marchera pas ici.
J'ajouterais aussi ceci : PEEK ne remplace pas les évaluations sur des tâches réelles. Mais en tant que filtre précoce, c'est un outil très solide. Chez Nahornyi AI Lab, nous intégrons ce genre d'outils dans les pipelines de nos clients lorsqu'il ne s'agit pas seulement de connecter un modèle, mais de développer une solution IA avec une qualité prévisible. Si un LLM est déjà dans votre processus et que vous ne savez pas où il maîtrise le sujet et où il invente avec assurance, décomposons-le en couches et mettons en place un système de vérification efficace sans coûts superflus.