Глава Microsoft призвал создать «аварийный тормоз» для ИИ

Глава корпорации Microsoft Сатья Наделла заявил о необходимости создания «аварийного тормоза» для искусственного интеллекта. Об этом он написал на своей странице в X.

«Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи. Для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать», — написал он.

Наделла заявил, что в последние несколько десятков лет при внедрении программных систем в различные отрасли экономики, люди имели инструменты и возможности, позволяющие проследить системы до конкретного участка программного кода. По его словам, в современных ИИ-системах подобное понимание механизмов недоступно для человека. Глава Microsoft подчеркнул, что сейчас люди не способны связать поведение модели и ее результаты с конкретными данными, которые использовались при обучении. Несмотря на это, компании продолжают внедрять ИИ-агентов в свои системы, предоставляя им доступ к «наиболее чувствительным данным».

По мнению Наделлы, человечество не должно рассматривать ИИ как набор вложенных в друг друга «черных ящиков», не задумываясь принимая или отвергая его рекомендации, ответы и действия. Он считает необходимым создание изолированных систем, поведение которых можно наблюдать, а действия в любой момент сдерживать. Для этого, по словам Наделлы, необходимо окружить недетерминированные модели надежной архитектурой, средствами контроля человеком и проверенными эксплуатационными процедурами. В некоторых случаях, отмечает он, необходимо разработать отраслевые стандарты.

Теперь, как отмечает Наделла, эти принципы следует применять и к ИИ. Первым шагом для применения схожих принципов Наделла называет прозрачность цепочки рассуждений модели, которое должно быть обязательным требованием. Кроме того, по его словам, необходимо использовать модели для взаимного состязательного тестирования и проверки. Также, по мнению специалиста, ИИ-модель необходимо отделить от управляющей оболочки, которая координирует ее работу, и от набора действий, которые ей разрешено выполнять. Помимо этого, пишет Наделла, следует вынести за пределы модели средства контроля и защиты.

Наделла также назвал принципы наблюдаемости, на которые компаниям следует опираться: разнообразие моделей; наблюдение за всеми действиями; возможность проверки; независимые средства контроля; независимый аудит; изоляция и сдерживание; раскрытие информации об инцидентах. «Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше», — заключил Наделла.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.