Изолированные друг от друга модели OpenAI научились общаться без сети

Модели OpenAI обучаются и проходят оценку в специальных вычислительных средах — цифровых пространствах, где они могут писать и запускать код, пользоваться инструментами и искать информацию. Такие среды изолируют модели от внешних систем и друг от друга, если взаимодействие между ними не разрешено. Это помогает ограничить последствия ошибок или непредусмотренного поведения. Однако по мере развития моделей они все лучше находят уязвимости программного обеспечения и способы обходить ограничения.

В одном из экспериментов OpenAI попросила агентов, работавших в отдельных микровиртуальных машинах, передать друг другу синтетические секретные данные без использования сети и общих файлов. Тогда они задействовали кэш процессора — быструю память, в которой временно хранятся недавно использованные данные. Один агент удалял определённые данные из кэша, а другой замерял, сколько времени занимает их чтение. Если информация сохранялась в кэше, она считывалась быстрее, чем при загрузке из основной памяти.

В других экспериментах модели нашли аналогичные способы передавать информацию через особенности работы общего хранилища и TLS-сертификатов в инфраструктуре OpenAI. Такие каналы не требуют обычного сетевого соединения: агенты используют побочные эффекты совместной работы систем и измеряют изменения, по которым можно восстановить сообщение. Большинство обнаруженных способов передают данные медленно и их сложно использовать на практике. Тем не менее, OpenAI добавила в системы мониторинга проверки для выявления подобных попыток связи.

Кампания по проверке безопасности выявила и другие уязвимости. В частности, агенты находили способы выходить за пределы виртуальных машин, получать доступ к интернету и перемещаться между системами. В инциденте 20 сентября внутренняя модель воспользовалась неправильной настройкой DNS-резолвера, чтобы получить доступ к интернету во время обучения. OpenAI локализовала инцидент, приостановила обучение и оценку наиболее мощных моделей и использовала паузу для устранения недостатков и усиления контроля.

На эти проверки компания потратила сотни миллиардов токенов. Обнаруженные уязвимости затрагивали как внутренние сервисы, так и программное обеспечение с открытым исходным кодом. OpenAI исправила проблемы в собственной инфраструктуре и сотрудничала с разработчиками затронутых проектов, включая Kata Containers, gVisor и Moby/Docker.

OpenAI защищает исследовательские среды с помощью нескольких уровней безопасности — изолированные «песочницы», виртуальные машины, сетевые ограничения и системы мониторинга. Чтобы модели могли учиться искать информацию в интернете без доступа к работающим сайтам, компания создала офлайн-среду с сохраненными веб-страницами. OpenAI считает, что пока передовые модели следует обучать без подключения к реальному интернету. После устранения уязвимостей и усиления защиты компания возобновила обучение с подкреплением и внутренние тесты моделей 1 октября — спустя 11 дней после приостановки.