Яндекс показал интерактивного агента на KV-кеш-манипуляциях — модель принимает новые данные, не дожидаясь конца ответа
· Источник: оригинал
🔧 Яндекс показал агента, который принимает новые данные прямо во время генерации
Обычная LLM работает строго последовательно: получила запрос → рассуждает → отвечает. Апдейты по ходу не предусмотрены. Яндекс показал интерактивного агента, который работает на манипуляциях KV-кешем и эту схему обходит.
KV-кеш — это место, где модель держит контекст уже обработанных токенов. Если трогать его на ходу, модель можно «подкармливать» новой информацией прямо во время рассуждения, не дожидаясь конца генерации ответа. Всё это на уровне инференса — веса уже обученной модели не меняются.
Что получает агент: приём новых данных во время вычислений, корректировку плана без полного перезапуска и выдачу промежуточных действий. Плюс координацию процессов с разной скоростью — восприятие, рассуждение, речь, работу с инструментами.
Для чат-бота задержка от последовательной генерации может быть приемлемой. Для голосового ассистента, робота и систем видеонаблюдения это фундаментальное ограничение ⚡ Целевые применения подхода как раз там: голосовые ассистенты, роботы, игровые агенты, системы на непрерывном видеопотоке.
Разбор написал Георгий Якушев — исследователь Yandex Research, преподаватель и выпускник ШАД. Полный текст — habr.com/ru/companies/yandex/articles/1083378/
🤖 Интересуют ИИ-агенты и автоматизация?
Промпты для сборки ИИ-агентов и автоматизаций — читай по теме:
🔗 Вся библиотека промптов · Категория «ИИ-агенты»
Готовый продукт по теме: AI Agent Skills Pack — забрать и применить сразу.