США разработали протокол на случай выхода ИИ-агентов из-под контроля

Национальный институт стандартов и технологий США (NIST), Агентство национальной безопасности США (АНБ) и Агентство по кибербезопасности и защите инфраструктуры США (CISA) опубликовали руководство по реагированию на инциденты, связанные с автономными ИИ-системами. Документ описывает десять практик для организаций, работающих со сложными ИИ-системами, которые могут действовать неожиданным или потенциально опасным образом.

Документ не предлагает принципиально новых методов защиты, а объединяет существующие практики в общий контрольный список, позволяющий организациям готовиться к сбоям ИИ-агентов, быстрее выявлять опасное поведение и восстанавливать работу после инцидентов.

Рекомендации охватывают пять этапов. Подготовка включает инвентаризацию активов и рисков, многоуровневую защиту, ограничение привилегий, архитектуру нулевого доверия и контроль цепочек поставок. Обнаружение требует постоянного мониторинга поведения агентов и признаков компрометации.

При инциденте необходимо изолировать затронутые системы, отозвать учётные данные, восстановить скомпрометированную среду, определить масштаб ущерба и установить первопричину. На этапе восстановления организации должны заранее проверять процедуры возврата к штатной работе и документировать принятые решения, включая оставшиеся риски. Последний этап — отчётность — включает уведомление всех затронутых сторон, выполнение обязательств по информированию государственных органов и публичное раскрытие сведений, когда это уместно. Руководство отдельно рекомендует как можно раньше сообщать о произошедших инцидентах и публиковать принятые меры и полученный опыт, полезные другим участникам отрасли. Все пять этапов рассматриваются как единая система без выделения приоритетных направлений.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.