Qwen 3.8 поступилася 3.6 у тесті NVFP4

Що саме показав тест

Для мене головний результат цього порівняння неприємно практичний: Qwen 3.8 не пройшла в продакшен там, де Qwen 3.6 вже тримає формат і факти. У польовому звіті користувача 438528858 з обговорення описано аналітику дзвінків кол-центру одним запитом без thinking. Після тижня тестування автор вирішив не змінювати робочу версію.

Навантаження було цілком конкретним: у середньому близько 10 тис. токенів на вході, включно з транскрипцією та промптом, а потім 400–500 токенів аналітики у JSON. Порівняння провели на 200 дзвінках з одним і тим самим промптом. Qwen 3.8 видала 10 пошкоджених JSON, тоді як у Qwen 3.6 таких відповідей не було.

Формат виявився не єдиною проблемою. За спостереженням автора тесту, 3.8 частіше перекручувала факти й робила висновки, яких не було у вихідній транскрипції. Для аналітики дзвінків це гірше за звичайне стилістичне погіршення: валідний JSON можна перевірити автоматично, а впевнено спотворений факт легко проходить далі конвеєром.

Є важливе застереження: порівнювалися не оригінальні моделі, а сильно стиснуті збірки unsloth/Qwen3.8-27B-NVFP4 і sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP. Апаратна конфігурація автора підтримує нативні обчислення NVFP4, тому саме цей формат для нього критичний. Причину відставання поки не відокремлено від якості конкретної збірки та самої квантизації.

Thinking у тесті був вимкнений. Це суттєва деталь: можлива перевага Qwen 3.8 у thinking-режимі нічого не вирішує для однопрохідного конвеєра, де потрібні передбачувана затримка, збереження фактів і сувора структура відповіді.

Чому оновлення поки не виглядає оновленням

Висновок тут вузький, але корисний: для цього NVFP4-сценарію Qwen 3.6 виявилася безпечнішою як продакшен-компонент. Десять пошкоджених відповідей можна перехопити валідатором, але частіше спотворення фактів потребує окремої перевірки змісту й швидко з'їдає вигоду від зміни моделі.

Я б насамперед розділяв три можливі джерела проблеми: поведінку базової моделі, якість NVFP4-квантизації та особливості конкретного репаку. Цей тест не доводить загальну перевагу 3.6 над 3.8, зате добре показує ціну поспішного оновлення за номером версії.

Поки головне невирішене питання не в тому, чи сильніша Qwen 3.8 загалом, а в тому, чи залишиться її перевага після стиснення та вимкнення режиму, на який вона може розраховувати.

Раніше ми порівнювали точність і ризики галюцинацій в інструментах ШІ для підсумовування зустрічей у бізнес-процесах. Ці висновки допомагають інтерпретувати помилки Qwen 3.8 в аналітиці кол-центру.