GPT-6 Sol n’a pas prouvé une régression face à GPT-5.6

Ce que l’on sait de la comparaison entre GPT-6 Sol et GPT-5.6

Je ne condamnerais pas GPT-6 Sol sur la base d’un seul commentaire émotionnel. Le message initial affirme que le modèle est bien moins capable que GPT-5.6, mais ne fournit ni description de la tâche, ni exécutions répétées, ni notes, ni même conditions d’accès. C’est une observation d’utilisateur, pas une comparaison reproductible.

La documentation officielle d’OpenAI présente GPT-5.6 comme performant sur BrowseComp, OSWorld 2.0, ExploitBench, ExploitGym et SEC-Bench Pro. De leur côté, des publications de la communauté sur GPT-6 Astra annoncent des résultats de pointe sur FrontierMath Tier 4, ARC-AGI 3 et TerminalBench-4.0. Le problème est évident : Astra et Sol ne peuvent pas être considérés tacitement comme une même configuration.

Des synthèses externes indiquent également que GPT-6 Astra dépasse GPT-5.6 sur ARC-AGI-3, FrontierMath Tier 4, OSWorld 2.0 et ExploitBench. Une autre discussion associe une possible régression à GPT-6 Luna et à un indice de programmation, tout en attribuant une amélioration à GPT-6 Sol. LiveBench montre un solide résultat global pour GPT-6 Astra Max Effort, surtout en raisonnement et en mathématiques.

L’accès lui-même prête aussi à confusion. Une clarification de la communauté affirme que GPT-5.6 Sol reste le modèle le plus avancé disponible dans le chat standard. Au moment de la discussion, les noms, les variantes et le déploiement semblent suffisamment confus pour que les utilisateurs comparent des modes différents de ceux qu’ils pensent employer.

Pourquoi une plainte subjective reste importante

Une régression globale n’est pas démontrée, mais une dégradation locale peut être réelle pour un flux de travail précis. Les progrès agrégés dans les benchmarks ne garantissent pas le même comportement en programmation, dans les longues conversations, avec les outils ou pour les tâches où la régularité compte plus que la meilleure réponse isolée.

En tant qu’ingénieur, je vérifierais d’abord le nom exact de la variante, le mode de calcul, les limites d’accès, le prompt d’origine et une série d’exécutions répétées. Sans cela, le terme « plus bête » mélange qualité du raisonnement, style de réponse, fiabilité et efficacité. C’est un diagnostic frappant sans isolation de la panne.

Pour l’instant, les faits ne pointent pas vers l’échec d’une génération, mais vers un écart entre les benchmarks agrégés et l’expérience d’utilisateurs individuels. La question la plus intéressante n’est pas de savoir si le score moyen a augmenté, mais pourquoi un scénario donné a pu se dégrader alors que les métriques globales progressaient.

Nous avons déjà traité le revirement d’Anthropic sur les dégradations cachées de Claude et les conséquences des changements de performance non divulgués sur la confiance des utilisateurs. L’écart signalé entre GPT-6 et GPT-5.6 soulève une question similaire sur la mesure et la communication de la qualité des modèles.