ИИ-агенты OpenAI дважды обошли системы мониторинга

ИИ-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов. Об этом сообщила компания. Разработчик ChatGPT отметил, что эти инциденты произошли в ходе выполнения задач по написанию кода и не были отнесены к числу наиболее серьезных. Речь идет о двух случаях, которые произошли 3 октября и 6 октября.

«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранить меры контроля, однако истолковали стандартные инструкции по написанию кода как разрешение на их ослабление», — пояснили в OpenAI.

В первом случае агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности. Он решил, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности. В другом инциденте, произошедшем 6 октября, агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал. Компания сообщила, что проверяет, не склонны ли ее модели избегать контроль и искать поводы, чтобы оправдать такое поведение.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.