Технічний контекст
Я люблю такі історії більше за прес-релізи: людина реально підняла пошук по Telegram-чатах, загнала повідомлення в базу, прикрутила агента з RAG, вебпошуком та антигалюцинаціями, а потім чесно сказала, де все почало скрипіти. Не в теорії, а в бою. І ось це вже схоже на нормальну AI-імплементацію, а не на демо заради лайків.
Із фактів тут головне не слово RAG, а деталі. Архів чатів виявився достатньо корисним для пошуку за темами та контактами, якість автор оцінив як "дуже непогану", але тільки після налаштування. Його висновок мені близький: на такому корпусі потрібен hybrid search, бо одні ембеддінги погано ловлять ніки, назви компаній, жаргон і точні фрази.
Друга важлива частина — це reranking. Я багато разів бачив одну й ту саму проблему: векторний пошук приносить нібито релевантні шматки, але не ті, які реально відповідають на запитання. На коротких повідомленнях Telegram це особливо помітно, тому нормальний reranker тут не опція, а майже обов’язковий шар.
Ще один сильний момент у кейсі: автор перестав тягнути в індекс увесь шум підряд і почав структурувати обговорення в окрему базу знань. Оце правильний поворот. Якщо не чистити балачки, форварди, уривки реплаїв і дублікати, будь-яка AI-інтеграція швидко перетворюється на генератор відповідей із ймовірністю, а не на робочий інструмент.
Щодо грошей прозвучала цифра близько 20 доларів на місяць на Supabase. Я б не сприймав її як універсальну ціну, тому що вартість залежить від обсягу архіву, запитів і схеми зберігання. Але як орієнтир для невеликого прототипу звучить правдоподібно: дешево стартанути можна, вічно жити на цьому без оптимізації вже не завжди.
Вплив на бізнес і автоматизацію
Практичний висновок простий. Якщо ваша команда тоне в чатах, такий RAG може повернути години часу: пошук рішень, контактів, домовленостей і старих технічних обговорень перестає бути археологією.
Виграють команди з живими knowledge flow: аутсорс, продукт, ком’юніті, сапорт, продажі. Програють ті, хто намагається зробити «чат-бота за листуванням» без очищення даних, фільтрів за метаданими і reranking. Там швидко приходить розчарування.
Я би ще додав неприємну правду: знайти повідомлення не означає знайти істину. LLM все одно працює ймовірнісно, і саме тому архітектура важливіша за красивий промпт. Ми в Nahornyi AI Lab вирішуємо для клієнтів такі задачі через AI solution development із нормальним пайплайном даних, а не через магічне «підключимо бота за вечір».
Якщо у вас схожий біль із чатами, базою знань або внутрішнім пошуком, давайте подивимось на ваш процес тверезо. Іноді вистачає акуратної AI automation поверх існуючих даних, а іноді краще одразу зібрати кастомного агента так, щоб він економив час, а не плодив новий шум. Це якраз той випадок, де мені як Vadym Nahornyi цікавіше спочатку все зламати на тестах, а потім зібрати в робочу систему для бізнесу.