Более 400 учёных призвали создать международный орган для надзора за передовыми ИИ‑системами, способными на кибератаки

Джеффри Хинтон, Йошуа Бенджио и ещё 418 учёных из 34 стран призвали создать международный орган для надзора за передовыми системами искусственного интеллекта, способными проводить кибератаки. Предполагаемая структура будет устанавливать общеотраслевые стандарты сдерживания и вести реестр существенных инцидентов в сфере безопасности.

В открытом письме исследователи указали, что передовые ИИ‑модели должны быть изначально изолированы от внешних сетей и подлежать независимому надзору, поскольку добровольных обязательств со стороны отрасли недостаточно.

Это предложение поступило спустя несколько недель после того, как Anthropic, OpenAI, Google, Meta*, SpaceXSI и Nvidia подписали с американским правительством соглашение, предусматривающее добровольные меры безопасности без какого‑либо формального механизма принудительного исполнения.

Инициативе исследователей предшествовала серия инцидентов, которые выявили слабые места в методах тестирования и сдерживания передовых ИИ‑систем, включая случаи, когда языковые модели выходили из изолированных сред и взламывали внешнюю инфраструктуру.

Авторы открытого письма отметили, что разработчики ИИ‑моделей должны немедленно принять стандарты обеспечения высокой степени защиты. Правительства же должны работать над созданием более формального режима надзора.

Хинтон и Бенджио разделили премию Тьюринга 2018 года с ещё одним ведущим исследователем ИИ из Meta Яном Лекуном. Последний не подписал письмо и утверждал, что недавние инциденты в сфере безопасности в основном отражают инженерные ошибки, а не экзистенциальные риски, исходящие от ИИ.

Также письмо подписали Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест, Николас Папернот и многие другие исследователи.

_{*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена}