Почему LLM не умеют считать буквы

Технический контекст

Я регулярно вижу один и тот же «тест на клубнику»: сколько букв в слове, сколько там r, почему модель несёт чушь. И да, для prompt engineering это полезный тест, но не на интеллект модели, а на понимание её архитектуры и того, как вы строите AI automation вокруг неё.

Проблема очень приземлённая: LLM не читает слово как последовательность символов. Она получает токены, обычно куски слов, собранные токенизатором вроде BPE. Для неё strawberry не обязано существовать как s-t-r-a-w-b-e-r-r-y. Часто это 1-2 токена с уже «упакованной» внутренней структурой.

Я в таких местах сразу торможу команды, которые хотят мерить «умность» модели бытовыми задачами. Подсчёт букв, позиций символов, точных масок, простых строковых операций без инструмента часто ломается даже у больших моделей. Это не баг в духе «не дотянули обучение», а фундаментальное ограничение представления текста.

Есть нюанс: иногда на английском модель отвечает лучше, иногда хуже, но суть не меняется. Язык влияет на токенизацию, а не отменяет её. Если задача требует символьной точности, просить модель «подумать ещё» почти всегда хуже, чем попросить её написать и выполнить короткий скрипт.

Вот где начинается нормальная AI integration: я не заставляю LLM считать то, что должен считать интерпретатор. Я даю модели роль оркестратора. Пусть она генерирует Python, SQL или JS, а точную операцию делает среда выполнения.

Что это меняет для бизнеса и автоматизации

Практический вывод простой: не маршрутизируйте строковые, арифметические и проверяемые операции напрямую через ответ модели. Иначе получите красивый текст с рандомом внутри.

Выигрывают команды, которые строят AI solutions for business как связку «LLM + tools», а не как магический чат. Проигрывают те, кто пытается запихнуть в один промпт и рассуждение, и точное исполнение.

Я у клиентов постоянно вижу этот паттерн в разборе писем, договоров, каталогов и саппорт-логов. Как только выносишь точные шаги в код, качество скачет вверх, а стоимость ошибок падает. Если у вас похожая история и нужен не очередной чатик, а внятная automation with AI, в Nahornyi AI Lab мы можем собрать такой контур под ваш процесс без лишней магии и с нормальной проверяемостью результата.

Мы ранее разбирали, как LLM-прокси и слой абстракции помогают снизить vendor lock-in, а также почему модераторы часто ошибочно помечают технические статьи как ИИ-контент. Это ещё одно проявление того, как языковые модели могут неправильно интерпретировать текст, подобно тому, как токенизация мешает им считать буквы.