OpenAI открыла фреймворк для отчётности о мисalignменте моделей и показала 6 случаев аномального поведения

OpenAI выпустила фреймворк отчётности о мисалайнменте моделей 🧩

Публикация называется «Our framework for reporting model misalignment». Внутри — схема из трёх этапов: tracking, investigating, disclosing. По-русски: отследить неожиданное поведение нейросети, разобрать эпизод, раскрыть результат.

Вместе с фреймворком вышли шесть разборов конкретных эпизодов аномального поведения 🔍

six reports of unexpected or concerning model behavior

По задумке, расследование запускает не реакция «по пинку» от внешних исследователей, а проактивная внутренняя система отчётности: аномалию ловят и разбирают изнутри.

Фреймворк лежит на openai.com