Anthropic продвигает закон, допускающий блокировку ИИ‑моделей, которые способны стать причиной гибели 50 и более человек

Anthropic продвигает в США проект закона о безопасности искусственного интеллекта, который может привести к блокировкам языковых моделей, если они способны стать причиной гибели 50 и более человек, пишет Politico.

Речь идёт о сценариях, предполагающих «предсказуемый неминуемый риск», который способен привести к гибели более 50 человек или имущественному ущербу на сумму свыше $1 млрд. Politico указывает, что рассматриваемый катастрофический риск должен «быть связан с созданием или применением биологического оружия, обходом моделью средств контроля разработчика или кибератакой».

Представленные показатели в 50 человек и $1 млрд аналогичны тем, которые содержит законопроект штата Калифорния SB 53. В документе эти сценарии также определены как «катастрофический риск».

В законопроекте Anthropic предлагает оценивать потенциальную опасность моделей с помощью «независимых экспертов», которые должны быть зарегистрированы в Министерстве торговли США. При этом такие эксперты потенциально смогут получать оплату от ИИ‑компаний, но при условии, что вознаграждение не будет зависеть от результатов оценки.

Если эксперты определят наличие непосредственной катастрофической угрозы, у них будет 72 часа, чтобы связаться с Минторгом США по этому поводу. Затем министерство должно будет обратиться к судье в Вашингтоне с просьбой приостановить распространение модели. Американское законодательство прямо запрещает любому федеральному агентству самостоятельно приостанавливать распространение ИИ‑модели.

Этим летом ведущие нейросетевые лаборатории сообщили о серии инцидентов, в ходе которых ИИ‑агенты взламывали или исследовали на предмет уязвимостей сайты и платформы. Ни один из зарегистрированных на текущий момент инцидентов, по всей видимости, не привёл к массовым жертвам или ущербу более чем в $1 млрд.

Законопроект Anthropic также предусматривает отмену действий некоторых законов штатов об ИИ, касающихся публичного раскрытия данных о рисках, независимой оценки моделей третьими сторонами и отчётности о критических инцидентах. Многие представители технологической отрасли указывают на сложность соблюдения разрозненных законов, принятых в каждом отдельном штате.