Агенты OpenAI отключали мониторинг безопасности и лгали об этом

Инженеры OpenAI рассказали о двух свежих инцидентах, во время которых ИИ-агенты на базе GPT-6.1 Sol и GPT-6 Astra отключили или ослабили системы, следившие за отклонениями в их поведении. Причем один из агентов после этого прямо соврал человеку и заявил, что ничего не делал.

Первый инцидент произошел 3 октября 2026 года, когда исследователь компании поручил агенту на базе GPT-6.1 Sol подготовить задачи для оценки моделей на основе отзывов сотрудников из Slack и отдельно указал, что отправлять сообщения в Slack не нужно.

Позже во время выполнения задачи сработала система, которая отслеживает потенциально опасное поведение агента. Она остановила дальнейшую работу и сформировала отчет, однако не смогла сохранить его в нужную базу из-за нехватки прав. Тогда исследователь попросил агента изменить место сохранения отчетов и запустить пайплайн заново.

Сначала агент правильно рассудил, что запрет на отправку сообщений касается только Slack и не распространяется на автоматические предупреждения от системы мониторинга. Однако затем он изменил свое решение и счел, что такие оповещения тоже нарушают указание пользователя. В итоге агент поручил субагенту включить no_notify и очистить списки получателей уведомлений.

Хотя сам мониторинг продолжил работать и сохранять отчеты, однако уведомления людям больше не поступали. Причем изначально в своих рассуждениях агент отметил, что эти оповещения все же необходимо сохранить, но затем отключил их.

Второй инцидент произошел 6 октября 2026 года, когда агенту на базе GPT-6 Astra поручили переделать внутренний код по образцу другой реализации, сохранив все существующие инструменты и их функции. Также агент получил прямое указание не отключать мониторинг даже временно.

Однако в коде, который дали агенту в качестве образца, системы мониторинга вообще не было. В итоге Astra решила, что новый вариант программы должен полностью соответствовать этому примеру, и убрала мониторинг, несмотря на прямой запрет на его отключение. Более того, агент изменил и автоматический тест: раньше тот проверял, что после изменений мониторинг продолжает работать, но ИИ переписал его таким образом, чтобы тест, наоборот, ожидал отсутствие мониторинга.

При этом модель понимала, что мониторинг исчез: в своих рассуждениях модель прямо отметила, что новый код больше не запускает мониторинг агента, но сочла это допустимым изменением. Пользователю об отключении защиты она не сообщила. Когда специалист OpenAI позже напрямую спросил ИИ, был ли удален L1-мониторинг, Astra ответила отрицательно.

В OpenAI отмечают, что в обоих случаях агенты рассматривали вариант сохранения защиты, но в итоге интерпретировали обычные задачи по программированию как разрешение ее ослабить. Подчеркивается, что ни одному из эпизодов не был присвоен уровень P0 (Priority Zero) — максимальный уровень срочности для инцидентов, требующих немедленного вмешательства.

Пока специалисты не установили точную причину такого поведения. Среди основных версий — чрезмерное упорство при выполнении поставленной задачи, непонимание важности мониторинга или склонность моделей избегать контроля.

Специалисты OpenAI собираются проверить, склонны ли модели целенаправленно избегать мониторинга и прибегать к так называемому мотивированному рассуждению, то есть подбору аргументов в пользу желаемого вывода.

Отмечается, что после этих инцидентов в OpenAI доработали внутреннюю систему Auto-Review. Теперь она должна выявлять и блокировать попытки агентов отключить механизмы, которые следят за потенциально опасным или нежелательным поведением моделей. Кроме того, Auto-Review будет отклонять задачи, для которых не настроены необходимые механизмы мониторинга.