Pas de «l'intelligence», mais de savoir si le modèle voit l'image
Le plus important est simple : Moonshot AI a lancé PerceptionBench comme un benchmark de diagnostic non pas pour le QI multimodal général, mais spécifiquement pour la perception visuelle atomique. Dans le blog Kimi sur PerceptionBench, c'est formulé honnêtement : l'objectif est de vérifier si un modèle peut répondre directement à partir de l'image, sans s'appuyer sur des schémas linguistiques, des connaissances externes ou un raisonnement élégant superposé à une erreur de perception.
Et cela, à mon avis, frappe là où ça fait mal. De nombreux tests multimodaux mélangent tout à la fois : vision, raisonnement, mémoire, suppositions contextuelles. Ensuite, le modèle obtient un score final correct, alors qu'à un niveau de base, il aurait pu simplement ne pas remarquer un objet, confondre un attribut ou inventer un détail inexistant.
La description de PerceptionBench décompose 10 compétences atomiques : relations visuelles, comptage, attributs, compréhension de la profondeur et 3D, localisation, comparaison, reconnaissance fine, intégration contextuelle, OCR et détection d'hallucinations. Ce n'est plus « le modèle comprend bien les images », mais une tentative de décomposer où le pipeline de perception échoue exactement.
Un autre signal concret de l'annonce : le benchmark contient environ 3000 exemples vérifiés, et la précision globale des modèles testés, selon Moonshot AI, reste inférieure à 60 %. Si cette configuration est exacte, la conclusion est désagréable mais utile : le plafond de nombreux systèmes ne vient pas du raisonnement complexe, mais d'erreurs assez terre-à-terre lors de la première passe visuelle.
Pourquoi cela change la discussion sur les modèles multimodaux
Oui, cela ressemble à une tentative de relever le niveau d'évaluation, et c'est une bonne chose. Lorsqu'un benchmark cible spécifiquement la perception, il devient plus difficile de cacher une vision faible derrière un décodeur de texte puissant.
Pour les ingénieurs, l'avantage est très concret. Si un modèle échoue sur la localisation, l'OCR ou la détection d'hallucinations, ce n'est plus un abstrait « il est moins bon que les concurrents », mais un signal plus clair sur ce qu'il faut vérifier en premier dans un produit : extraction de texte, coordonnées d'objets, comparaisons visuelles, scènes avec des entités similaires.
Mais je garderais aussi à l'esprit l'autre aspect. Tout benchmark, surtout s'il est publié par le laboratoire lui-même, deviendra presque inévitablement une vitrine de sa propre optique sur le problème, et peut-être des points forts de ses propres modèles. Ce qui est intéressant, ce n'est donc pas seulement PerceptionBench lui-même, mais de savoir si d'autres acteurs commenceront à rendre compte systématiquement sur cette base. Si c'est le cas, le marché multimodal gagnera une chose rare et utile : un test qui tente au moins de mesurer la vision, et non une supposition joliment déguisée.