Choice / Score accélère la classification, mais ce n’est pas l’AGI

Ce que fait réellement Choice / Score

J’écarterais immédiatement les discours sur l’AGI : il ne s’agit pas d’intelligence générale, mais d’une restriction judicieuse de l’espace des réponses. Choice / Score ne génère pas du texte librement. Le modèle reçoit des options prédéfinies et renvoie un score ou une probabilité pour chacune d’elles.

Le guide de Google sur la classification de texte décrit le même format de base : la sortie est un ensemble de scores de classes qui, après normalisation, forment une distribution de probabilités. Au lieu de créer les tokens les uns après les autres, le système encode l’entrée et effectue une petite étape d’évaluation des étiquettes. L’accélération n’a donc rien de magique : elle découle directement de l’architecture.

La fourchette évoquée va de 20 à 200 fois par rapport aux modèles habituels de génération de texte. Un tel écart est possible parce qu’un générateur exécute son décodeur à répétition pour choisir le token suivant, alors qu’un classifieur n’a généralement besoin que d’un passage et du calcul des scores pour une courte liste d’options. Plus la réponse libre aurait été longue, plus la différence est visible.

• La classification et la détection d’intention s’adaptent bien à un ensemble fermé d’étiquettes.
• Le routage et la modération bénéficient d’une latence réduite sans texte superflu.
• Les probabilités peuvent servir aux seuils et au traitement des cas incertains.
• Le modèle ne peut pas créer une réponse absente des options proposées.

La comparaison avec Google TabFM n’est pertinente qu’au niveau du principe. TabFM traite des données tabulaires, tandis que Choice / Score prend du texte, mais les deux approches remplacent la génération généraliste par une prédiction structurée. Elles sont parentes par leur logique d’ingénierie, pas par leur architecture.

Où les économies sont réelles et où commence le marketing

Pour des tâches fermées, cette approche peut réellement mieux remplacer un grand LLM, mais elle ne représente pas une nouvelle classe d’intelligence. Un modèle compact peut être entraîné sur des étiquettes souples, des distributions ou des classements produits par un grand modèle de langage, puis exécuter l’inférence à moindre coût et plus rapidement.

Je vérifierais d’abord non pas le séduisant multiplicateur de vitesse, mais la qualité sur les classes rares, l’étalonnage des probabilités et le comportement face à des entrées hors de la distribution d’entraînement. Sans modèle ouvert, méthodologie de comparaison et conditions identiques, la fourchette de 20 à 200 fois ne doit pas être considérée comme universelle.

La principale limite est intégrée à l’idée même : le système n’est bon qu’à la hauteur des options définies à l’avance. Choice / Score supprime une génération coûteuse là où elle n’était pas nécessaire, mais un positionnement tapageur peut transformer un classifieur rigoureux en promesse de ce qu’il n’est pas techniquement.

Nous avons déjà expliqué comment mesurer la fiabilité de LLM-as-a-Judge avec des métriques IRT. Ce cadre d’évaluation complète les modèles choice-score en rendant les comparaisons de modèles plus cohérentes et mesurables.