Технічний контекст
Я зачепився за цю замітку Rosmine AI одразу з однієї причини: вони б'ють не по точності, а по найогиднішій болячці сучасних LLM — одноманітному стилю. Якщо ви хоч раз намагалися будувати AI automation для контенту, сапорту чи внутрішніх асистентів, ви це чули миттєво: текст ніби правильний, але мертвий.
Суть Distribution Fine-Tuning у тому, що модель вчать не просто відповідати "правильно", а потрапляти в розподіл людського письма. Тобто важлива не одна еталонна відповідь, а статистика ритму, довжини фраз, переходів, варіативності та деталей. Мені цей хід подобається більше, ніж нескінченне полірування SFT-датасету, бо проблема тут саме в усередненні.
Якщо коротко, SFT зазвичай закріплює безпечний середній стиль. RLHF і DPO ранжують уподобання, але легко штовхають модель у ще більш стерильну мову. А тут ідея інша: підтягнути не "чому надати перевагу", а "як у принципі звучить хороший людський текст".
Rosmine пише про зростання creativity на 164%, meaningful detail на 146%, coherence на 28%, clarity на 16%. Ще цікавіші метрики розподілу: MMD покращили на 49%, JMQ на 63%. На детекторі Pangram AI у них узагалі вийшло 100% human-written на вибірці зі 100 відповідей, але ось цю частину я б чіпав обережно: детектори сьогодні легко вразити, а завтра вони ламаються об новий датасет.
Технічно це схоже на додатковий loss поверх звичайного LM-навчання. Беремо embedding'и або приховані представлення згенерованого тексту, порівнюємо їх із цільовим корпусом людських текстів і штрафуємо модель за розбіжність розподілів, наприклад, через MMD. Не магія, а досить здорова AI architecture для тих випадків, де стиль реально впливає на продукт.
Вплив на бізнес та автоматизацію
Тут виграють не всі підряд. Якщо у вас кодогенерація, tool use або суворі регламентні відповіді, DFT — не перший інструмент, за який я б узявся. А от для маркетингу, editorial pipeline, AI integration у CRM, sales enablement та knowledge assistants це вже дуже практична штука.
Перший наслідок простий: менше ручного редагування після генерації. Другий: брендовий тон перестає розвалюватися на шаблонний "чатботський" голос. Третій: можна будувати automation with AI, де текст не соромно надіслати клієнту без армії редакторів.
Але є нюанс: якщо бездумно гнатися за "людяністю", можна просадити фактичність і керованість. Я якраз такі компроміси й розбираю в продакшені. У Nahornyi AI Lab ми вирішуємо це на рівні пайплайну: де потрібен DFT-подібний стиль, а де важливіша жорстка верифікація, retrieval і контроль відповіді.
Якщо у вас модель пише занадто гладко і через це не дотискає продажі, onboarding або сапорт, давайте розберемо ваш процес по шарах. Іноді не потрібен новий зоопарк моделей: достатньо нормальної AI solution development, і в Nahornyi AI Lab ми можемо зібрати систему, де текст нарешті звучить як помічник, а не як пластикова інструкція.