NVIDIA выпустила Nemotron для диаризации — модель уже встроили в локальный ассистент встреч

🗣️ NVIDIA выложила Nemotron — модель, заточенную под одну задачу: диаризацию

Модель не делает ничего, кроме разметки спикеров — определяет, кто что сказал на записи. 23 сентября NVIDIA выложила нейросеть, а уже через пять дней она работала в деле: автор встроил Nemotron в свой локальный ассистент созвонов «Чароит».

Диаризация — самое капризное место во всей цепочке обработки встречи. Ошибка тут бьёт прямо по смыслу: спикера разметили неверно — и решение в протоколе повисает на другом человеке.

«Чароит» пишет созвоны, а после кнопки «Стоп» собирает стенограмму, протокол и граф встречи. Через Nemotron идут оба канала звонка, очные встречи и живая лента стенограммы — разметка спикеров работает и на постобработке, и в реальном времени.

Пять дней от релиза до рабочей сборки — это про то, как узкая модель встаёт в конкретный шаг пайплайна.

Разбор автора на Habr — это часть 9 серии «Локальный ассистент для зумов» (Local assistant for zooms, part 9)