Qwen 3.8 perd face à 3.6 dans un test NVFP4

Ce que le test a réellement montré

Pour moi, le principal résultat de cette comparaison est très concrètement décevant : Qwen 3.8 n'est pas passée en production là où Qwen 3.6 tient déjà le format et les faits. Un rapport terrain de l'utilisateur 438528858 décrit une analyse d'appels de centre de contact en une seule requête, avec le mode thinking désactivé. Après une semaine de test, l'auteur a décidé de ne pas remplacer la version déjà opérationnelle.

La charge était précise : environ 10 000 tokens en entrée en moyenne, transcription et prompt compris, puis 400 à 500 tokens d'analyse en JSON. La comparaison a porté sur 200 appels avec le même prompt. Qwen 3.8 a généré 10 JSON invalides, contre aucun pour Qwen 3.6.

Le format n'était pas le seul problème. Selon l'auteur du test, 3.8 inversait plus souvent des faits et tirait des conclusions absentes de la transcription d'origine. Pour l'analyse d'appels, c'est pire qu'une simple baisse de qualité stylistique : un JSON valide peut être vérifié automatiquement, tandis qu'un fait déformé avec assurance peut facilement continuer dans le pipeline.

Une réserve importante s'impose : il ne s'agissait pas des modèles d'origine, mais de versions fortement compressées, unsloth/Qwen3.8-27B-NVFP4 et sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP. La configuration matérielle de l'auteur prend en charge les calculs NVFP4 natifs ; ce format est donc critique dans son cas. La cause du recul n'a pas encore été dissociée de la qualité de cette compilation particulière ni de la quantification elle-même.

Le mode thinking était désactivé pendant le test. C'est un point essentiel : un éventuel avantage de Qwen 3.8 dans ce mode ne répond pas aux besoins d'un pipeline en un seul passage, qui exige une latence prévisible, la préservation des faits et une structure de réponse stricte.

Pourquoi la mise à jour ne ressemble pas encore à une amélioration

La conclusion est limitée, mais utile : dans ce scénario NVFP4, Qwen 3.6 s'est révélée plus sûre comme composant de production. Un validateur peut intercepter dix réponses malformées, mais des distorsions factuelles plus fréquentes exigent un contrôle distinct du contenu et absorbent vite le bénéfice d'un changement de modèle.

Je distinguerais d'abord trois sources possibles du problème : le comportement du modèle de base, la qualité de la quantification NVFP4 et les spécificités de ce repack. Ce test ne prouve pas que 3.6 est globalement meilleure que 3.8, mais il montre bien le coût d'une mise à jour précipitée fondée sur le seul numéro de version.

Pour l'instant, la question centrale n'est pas de savoir si Qwen 3.8 est globalement plus puissante, mais si son avantage subsiste après compression et après désactivation du mode sur lequel elle peut compter.

Nous avons auparavant comparé la précision et les risques d'hallucination des outils d'IA de synthèse de réunions dans les processus métier. Ces résultats aident à interpréter les erreurs de Qwen 3.8 dans l'analyse des appels de centre de contact.