Qwen3.8-27B : Dense plutôt que MoE dans le petit modèle

Ce qui change exactement dans Qwen3.8-27B

Ce qui retient l'attention n'est pas un nouveau numéro de version, mais un choix d'architecture : Qwen3.8-27B est un modèle multimodal dense, et non un MoE. Au 23 septembre 2026, la variante 27B est aussi présentée comme la plus petite taille de la famille, ce qui montre à quelle vitesse la catégorie de base des modèles ouverts progresse.

La fiche officielle de Qwen sur Hugging Face mentionne 64 couches, une dimension cachée de 5120 et un vocabulaire de 248 320 tokens. C'est un profil déjà assez précis pour distinguer une sortie réelle des récits de la communauté.

La documentation vLLM précise la conception de l'attention : 48 des 64 couches utilisent une attention linéaire, tandis que les 16 autres emploient full gated attention. On obtient ainsi un hybride intéressant dans un modèle dense : la partie phare de la famille conserve le MoE, alors que la variante 27B suit la même ligne architecturale sans routage parcimonieux.

La fenêtre de contexte native est annoncée à 262K, avec une extension à environ 1M via YaRN. Le modèle accepte également les entrées multimodales. Sur le papier, l'association d'un long contexte, d'une attention hybride et de poids denses paraît pratique, même si la longueur maximale ne dit rien à elle seule sur la qualité sur toute la fenêtre.

Les développeurs anticipent déjà une quatrième itération, mais il s'agit encore d'un sentiment de la communauté, pas d'une annonce confirmée. Le rythme est effectivement élevé, mais la numérotation des versions importe moins que la compatibilité des runtimes et la stabilité du comportement entre les mises à jour.

Dense plutôt que MoE modifie le profil de déploiement

Abandonner le MoE dans le modèle 27B rend l'architecture plus facile à appréhender avec les outils existants, sans en faire automatiquement une option moins coûteuse. Les modèles denses et clairsemés utilisent différemment la mémoire et le calcul ; les comparer seulement par leur nombre de paramètres peut donc être trompeur.

Un signal pratique existe aussi : dans une discussion Hugging Face, un utilisateur a rapporté 171 tokens par seconde et 17,5 Go de VRAM avec un contexte de 64K. Il s'agit du résultat d'une exécution particulière, pas d'une caractéristique universelle, mais cela explique pourquoi le modèle est vu comme déployable localement, et pas seulement comme une ligne séduisante dans un classement.

Je commencerais par vérifier la dégradation sur les longs contextes, la fiabilité du tool calling et le comportement dans des boucles d'agents prolongées. C'est là que les promesses architecturales rencontrent généralement la réalité et que les scores moyens deviennent moins utiles.

Le plus intéressant n'est pas que Dense ait battu MoE. Le marché des LLM ouverts montre plutôt une fois de plus que les préférences architecturales des développeurs évoluent moins vite que les modèles eux-mêmes.

Nous avons précédemment examiné comment la configuration d'un modèle et les choix architecturaux influencent ses capacités, l'usage du contexte et les coûts de déploiement. Cette perspective aide à comprendre ce qu'une nouvelle itération de Qwen peut changer au-delà de la taille annoncée.