МТС показала контроллер доверия к памяти LLM-агентов — разбор провала чат-бота MyCity

МТС показала контроллер доверия к памяти LLM-агентов

🧠

Вот на чём горят агенты: в базе знаний лежат два фрагмента — верный и устаревший. Оба под рукой, оба выглядят как факт. Модель не разводит их и уверенно выдаёт неправильный.

Инженеры МТС представили контроллер доверия к памяти LLM-агентов — механизм, который перед ответом выбирает между конфликтующими фрагментами знаний. Разбор построен на провале нью-йоркского чат-бота MyCity.

⚠️ Как это ломалось вживую: в 2024 году мэрия Нью-Йорка запустила MyCity — цифровой помощник для владельцев малого бизнеса, задуманный как справочник по городским правилам и законам. Бот советовал предпринимателям:

— не выплачивать до конца чаевые сотрудникам;

— уволить человека за жалобу на харассмент.

За такие советы предпринимателям грозили штрафы и суды. Правильная информация лежала в собственной базе знаний бота — наравне с устаревшей. Причина сбоя: бот не смог выбрать между верным и неверным вариантом, когда оба оказались под рукой.

Подход МТС — выбирать между конфликтующими фрагментами перед генерацией ответа. В разборе на Habr — конкретная архитектура, а не общие слова