Технический контекст
Я поковырял chatjimmy.ai не как витрину, а как заготовку под AI integration. Снаружи там обычный Next.js shell, а самое интересное сидит за четырьмя маршрутами: /api/health, /api/models, /api/chat и /api/report.
/api/models сейчас возвращает ровно одну модель: llama3.1-8B с owned_by: Taalas Inc. /api/health тоже честный: видно отдельно nextjs, backend, код ответа backend и даже queue_size: 0 плюс current_adapter: none. Для меня это хороший сигнал: хотя бы не пытаются прятать состояние сервиса за бесполезным “ok”.
Чат работает через POST /api/chat, и вот тут есть забавный момент. Заголовок у ответа text/event-stream, но по факту это не нормальный SSE-протокол, а просто текстовый поток, в конец которого дописывается sentinel со статистикой вида <|stats|>...<|/stats|>.
То есть клиент получает текст ответа, потом отдельно вырезает блок со статистикой: ttft, decode_tokens, decode_rate, total_tokens. Такой дизайн я бы назвал рабочим хаком: быстро поднять можно, но если вы хотите build AI automation поверх этого в проде, придется аккуратно парсить поток и быть готовым к сюрпризам.
Фронт тоже без магии. Используется @ai-sdk/react и useChat со streamMode: "text", база API берется с того же домена, а вся история лежит в localStorage: чаты, статистика, выбранная модель, system prompt, topK.
Даже вложения примитивные и понятные: файл читается как текст до 50 KB и улетает в /api/chat как { name, content, size }. Это очень легкая архитектура. И ровно поэтому она мне нравится для тестов, но не для серьезного контура.
Что это меняет для бизнеса и автоматизации
Если рейтлимитов и правда нет, сервис годится для дешевых массовых прогонов: классификация, sentiment, грубая маршрутизация запросов, черновая AI automation на больших объемах. Один из участников уже гонял десятки тысяч отзывов, и это как раз тот сценарий, где слабая модель еще терпима.
Но я бы не ставил на это критичный workflow без обвязки. Нет внятной документации, нет явной контрактной стабильности API, а модель всего одна и довольно базовая по качеству.
Кто выигрывает? Те, кому нужен быстрый throughput для простых задач. Кто проигрывает? Команды, которые перепутают демо-инфраструктуру с продовой платформой.
Я такие штуки обычно беру как сырье для прототипа: сначала меряю качество, стабильность потока, поведение на длинных батчах и только потом решаю, вписывать ли это в AI solutions architecture. Если у вас похожая задача и нужно не просто подключить endpoint, а собрать надежную automation with AI вокруг него, можем быстро посмотреть ваш пайплайн вместе с Nahornyi AI Lab и понять, где здесь реально есть экономия, а где потом прилетит боль.