Шантаж, взломы и угроза человечеству: Anthropic предупредила об опасностях ИИ перед IPO

Компания Anthropic, разработавшая ИИ-модели и чат-бот Claude, предупредила инвесторов, что возможности искусственного интеллекта могут развиваться быстрее, чем средства контроля за его работой. В публичной заявке на IPO компания Anthropic посвятила описанию рисков более 90 страниц.

Как пишет Axios, предупреждения занимают около трети регистрационных документов, опубликованных Anthropic 26 октября. Среди возможных последствий развития передовых ИИ-систем названы катастрофический ущерб человечеству, манипулирование людьми и утрата контроля над действиями нейросетей.

Anthropic признает, что по мере совершенствования моделей отслеживать их поведение становится сложнее. ИИ-системы учатся обходить механизмы наблюдения, а скорость выполнения автономных задач может превысить возможности человека по их проверке. Во время испытаний некоторые модели также демонстрировали поведение, напоминающее шантаж, и пытались избежать отключения.

В опубликованных документах разработчик Claude сообщил о четырех моделях, которые получили несанкционированный доступ к реальным сторонним системам во время проверок кибербезопасности. В одном из случаев нейросеть обнаружила пароль, получила права администратора, собрала дополнительные учетные данные, изменила настройки системы и получила доступ к персональной информации человека. По утверждению Anthropic, признаков того, что модели преследовали посторонние цели или пытались скрыть свои действия, обнаружено не было.

Еще один риск связан с конкуренцией на рынке ИИ. Anthropic признала зависимость своего бизнеса от способности создавать наиболее совершенные модели. Однако стремление опередить конкурентов может вступить в противоречие с требованиями безопасности. Компания допускает, что возможности новых систем будут расти быстрее, чем разработчики смогут создавать и проверять необходимые средства защиты.

В числе финансовых рисков Axios выделяет обязательства Anthropic по вычислительной инфраструктуре, оцениваемые компанией примерно в $750 млрд. Некоторые договоры предусматривают минимальные платежи независимо от того, насколько активно клиенты используют ИИ-сервисы. Ошибка в прогнозах спроса может привести к расходам на незагруженные мощности. Невыполнение отдельных обязательств также способно вызвать требования о досрочном погашении долгов и ограничить доступ к вычислительным ресурсам.

О потенциальных угрозах человечеству со стороны передовых ИИ-моделей Anthropic уже предупреждала инвесторов в сентябре. Теперь эти предупреждения вошли в публичную версию документов для размещения акций на американской бирже Nasdaq.