ox-alpha atteint 63 % sur DeepSWE, mais il y a un bémol

Ce qu'ox-alpha a réellement montré

Ma première réaction est simple : les 63 % attribués à ox-alpha sur un sous-ensemble de DeepSWE, avec 47K tokens générés en moyenne, paraissent sérieux. Un tel résultat placerait réellement ox-alpha aux côtés de solides modèles fermés pour le développement logiciel agentique. Mais ce chiffre vient de discussions dans la communauté, et non d'une fiche officielle du modèle ou d'un article de son développeur.

Au 22 août 2026, l'origine d'ox-alpha n'est pas confirmée publiquement. Sur sa page de comparaison de modèles, OpenRouter le présente comme un modèle stealth gratuit avec une fenêtre de contexte de 1 048 576 tokens. Ce sont des paramètres produit concrets, mais ils ne disent rien ni du détenteur des poids ni de la reproductibilité du résultat DeepSWE.

Il existe un point de comparaison plus solide : dans sa documentation et ses notes de version de Grok 4.6, xAI indique 65,9 % sur DeepSWE v1.1. L'entreprise y annonce aussi un contexte de 500 000 tokens et aucune limite de sortie textuelle. L'écart avec les 63 % supposés d'ox-alpha est donc faible, à condition que les mesures soient réellement comparables.

C'est ici que commence la partie ingénierie. Un résultat sur un sous-ensemble ne peut pas être comparé automatiquement à la version complète de DeepSWE v1.1 : il faut connaître la composition des tâches, la configuration de l'agent, les outils, le nombre de tentatives et le critère de réussite. Les 47K tokens de sortie moyens sont eux aussi ambigus. Une longue trajectoire peut signaler de la persévérance sur une tâche difficile, ou masquer des essais coûteux et une planification insuffisante.

Pourquoi ce signal reste important

Même sans vérification officielle, ox-alpha indique une tendance : des modèles stealth accessibles publiquement sont déjà discutés au niveau de puissants modèles fermés de programmation. Pour les développeurs d'agents, cela change le premier filtre de sélection. Il faut regarder non seulement le nom du laboratoire, mais aussi la capacité à maintenir de longues trajectoires avec des outils.

Les scénarios gagnants sont ceux où un grand contexte et une sortie prolongée permettent de conserver le dépôt, l'historique des actions et les résultats des outils. Les classements fondés sur un seul chiffre final perdent en utilité : sans données sur le coût, la latence et les étapes échouées, ils servent rarement à une décision d'architecture.

Pour l'instant, je qualifierais les 63 % de signal fort mais non vérifié, plutôt que de nouvelle frontière de Pareto. Le mystère le plus intéressant n'est même pas l'écart apparent avec Grok 4.6, mais l'identité du créateur d'ox-alpha et le coût de calcul de cette longue trajectoire agentique.

Nous avons déjà présenté Pony Alpha comme un modèle nouvellement disponible pour des pilotes sans risque et des tests d’architecture. Son contexte d’évaluation pratique complète les résultats de benchmark d’Ox-alpha et les compromis de performance des modèles ouverts.