Технический контекст
Я как раз люблю такие задачи, где обычная диаризация ломается на первой же минуте. Если в канале не по очереди говорят, а начинается барная какофония, это уже не просто speaker diarization, а тот самый cocktail party problem. Для нормальной AI integration в продукт тут мало прикрутить Whisper и надеяться на чудо.
Я бы сразу разделил инструменты на два класса. Первый класс реально пытается понять, кто говорит и когда, даже если голоса пересекаются. Второй класс сначала разнимает аудио по источникам, а уже потом вы отдаете результат в ASR или в свою AI automation цепочку.
Из первого класса я бы смотрел на EEND, то есть End-to-End Neural Diarization. Это не старый пайплайн из VAD, эмбеддингов, кластеризации и молитвы. Модель сразу учится работать с неизвестными спикерами, пересечениями и онлайн-обработкой, а в ESPnet для этого уже есть рабочие рецепты и стриминговые сценарии.
Вот здесь я бы реально остановился и не тратил неделю на экзотику. Если нужен realtime и нет заранее известных эмбеддингов спикеров, EEND и ESPnet сейчас выглядят самым вменяемым направлением.
SAM Audio от Meta интересный, я покопал его логику, и он хорош именно как source separation слой. Он умеет вытаскивать звуки из мешанины по подсказкам, но это не нативная диаризация и не система, которая аккуратно вернет вам таймкоды по неизвестным людям в живом разговоре.
SpeechBrain sepformer-wham тоже полезен, но честно: это скорее про separation, а не про полное решение задачи. Я бы использовал его как препроцессинг перед ASR или diarization, если перекрытие голосов особенно жесткое.
Идея заставить LLM разметить уже готовую транскрипцию по смыслу звучит соблазнительно, и я сам такие штуки тестировал. Но это постобработка, не realtime, и на шумном перекрытии она скорее подправит структуру диалога, чем спасет разваленный аудиопоток.
Что это меняет для бизнеса и автоматизации
На практике выиграют те, у кого есть звонки, встречи, диспетчерские линии, интервью и саппорт с несколькими говорящими сразу. Там точность не просто красивая метрика, она решает, сломается ли аналитика разговора, CRM-логика и последующая automation with AI.
Проиграют команды, которые будут строить продукт только на ASR без separation или overlap-aware diarization. Ошибка в том, кто именно сказал фразу, потом бьет по саммари, поиску по звонкам и любому AI agent, который должен действовать по контексту.
Я бы собирал стек так: overlap-aware diarization через EEND или ESPnet, при необходимости separation через SAM Audio или SepFormer, и только потом ASR плюс LLM-слой для правки структуры. Мы в Nahornyi AI Lab как раз такие узкие места и разбираем руками: если у вас аудиопайплайн теряет смысл на пересечениях, можно построить AI solution development под ваш поток, а не под усредненный демо-сценарий.