Softline назвала семь угроз, которые приходят в компанию вместе с ИИ

Компании подключают искусственный интеллект к чат-ботам, аналитическим платформам, облачным сервисам, разработке и автоматизации процессов. ИИ получает доступ к корпоративным данным и начинает влиять на решения, от которых зависит работа бизнеса. Скорость внедрения опережает развитие контроля, около 70% российских компаний используют ИИ в критически важных бизнес-процессах. Среди компаний, работающих с большими языковыми моделями, 42% сталкивались с инцидентами, при этом зрелая модель управления ИИ есть только у 21% организаций, а 68% сотрудников пользуются ИИ-инструментами без согласования с ИТ- и ИБ-подразделениями. Об этом сообщает «Код Дурова».

«Мы в ГК Softline видим в этих цифрах одну общую проблему: ИИ становится частью бизнес-процессов раньше, чем компания успевает определить правила его использования, зоны ответственности и допустимый уровень риска», — сообщает «Код Дурова».

Обычных средств защиты здесь недостаточно, так как ИИ-система зависит от обучающих данных, запросов пользователей, подключенных сервисов и внешних компонентов. Её поведение может меняться вместе с данными и условиями эксплуатации. Поэтому защищать нужно весь жизненный цикл системы: от подготовки информации и обучения модели до внедрения, мониторинга и вывода из эксплуатации.

Эксперты Softline выделяют семь основных групп угроз для корпоративных ИИ-систем.

Первая угроза — отравление данных. Злоумышленник может добавить вредоносные или искаженные данные в обучающую выборку. В результате модель начинает ошибаться, выдавать заданные кем-то ответы или сохраняет скрытую уязвимость. Для защиты нужны проверка происхождения и качества данных, их валидация и постоянный контроль процесса обучения.

Вторая угроза — кража модели. Модель можно попытаться скопировать или восстановить через программный интерфейс, который используется для обращения к ИИ-сервису. Другой вариант — обратная разработка, когда устройство системы восстанавливают по её поведению и ответам. Снизить риск помогают шифрование, разграничение доступа и мониторинг обращений к модели.

Третья угроза — утечки информации. ИИ может раскрыть конфиденциальные сведения из обучающего набора или пользовательских запросов. Сотрудник также способен сам передать внешнему сервису внутренний документ, исходный код, клиентскую базу или другую закрытую информацию. В Softline к этому относят и теневой ИИ: использование сотрудниками инструментов, которые компания не согласовала и не контролирует. Для защиты нужны правила работы с данными, разграничение прав и средства предотвращения утечек.

Четвёртая угроза — потеря управляемости. Многие модели работают по принципу «чёрного ящика»: восстановить логику конкретного ответа бывает трудно. Это осложняет аудит, расследование инцидентов и подтверждение соответствия нормативным требованиям. Компании необходимо заранее определить, кто отвечает за решения ИИ, как проверяются его ответы и какие действия система может выполнять самостоятельно.

Пятая угроза — захват вычислительных ресурсов. Инфраструктуру ИИ могут использовать для посторонних вычислений, например майнинга криптовалют или запуска вредоносных процессов. Для бизнеса это означает дополнительные расходы и снижение доступной мощности. По оценке команды Softline, контролировать нужно не только действия пользователей, но и потребление ресурсов. Резкое изменение нагрузки может указывать на злоупотребление инфраструктурой.

Шестая угроза — уязвимости API. Программные интерфейсы связывают модель с приложениями, базами данных и внешними сервисами. Ошибки в их защите могут привести к инъекционным атакам, утечкам и неправомерному доступу к модели. Основными мерами остаются надёжная аутентификация, шифрование и постоянный мониторинг обращений.

Седьмая угроза — компрометация цепочки поставок. Корпоративная ИИ-система обычно зависит от сторонних моделей, библиотек, сервисов и наборов данных. Уязвимость или вредоносное изменение одного компонента способно повлиять на всё решение. Поэтому состав системы нужно учитывать и регулярно проверять. Использование известной библиотеки или готовой модели не отменяет контроля её происхождения, версии и безопасности.

Защита ИИ уже формируется как отдельное направление информационной безопасности. Для управления рисками появились стандарты, методологии и базы знаний, охватывающие разные этапы работы с моделями. Для оценки рисков и выстраивания защиты ИИ компании могут использовать следующие стандарты, методологии и базы знаний: NIST AI RMF, ISO/IEC 42001, OWASP GenAI Security Project, MITRE ATLAS и модель угроз AI Сбера. Эти подходы различаются по назначению, но вместе охватывают четыре направления: управление рисками, проверку устойчивости к атакам, техническую защиту и безопасную разработку.

Управление рисками начинается с инвентаризации. Компания должна знать, какие модели и сервисы используют сотрудники, к каким данным они подключены, какие решения могут принимать и к каким последствиям приведёт ошибка. Подход Softline включает оценку возможных сценариев злоупотребления, их вероятности и влияния на бизнес. После этого можно определить меры реагирования и организовать регулярный пересмотр рисков. Разовая проверка не решает задачу, так как модель получает новые данные, пользователи меняют способы работы с ней, а сама система обрастает интеграциями, вместе с этим меняется и профиль угроз.

Для проверки ИИ-систем применяется Red Teaming — моделирование действий атакующего. Его задача состоит в том, чтобы найти слабые места до реального инцидента. Эксперты Softline проверяют устойчивость моделей к Prompt Injection и Jailbreak-атакам. Также оцениваются возможность утечки данных, реакция модели на вредоносный контент, безопасность подключений к внешним системам и корректность защитных механизмов. Обычного тестирования приложения для этого недостаточно: проблема может находиться в логике ответов модели или в том, как она выполняет пользовательские инструкции.

Один из классов защитных решений — LLM Firewall. Такой инструмент контролирует взаимодействие с большой языковой моделью и помогает блокировать опасные запросы, включая попытки Prompt Injection. Команда Softline также выделяет средства разграничения доступа к моделям и данным, системы мониторинга аномального поведения и инструменты предотвращения утечек. Дополнительно применяются LLM Guardrails — ограничения и проверки, которые задают допустимые действия модели и контролируют её входные и выходные данные. Ни одно из этих средств не закрывает все риски самостоятельно. Набор мер зависит от архитектуры системы, используемых данных, интеграций и последствий возможной ошибки.

По мере роста числа ИИ-систем компании переходят к LLMSecOps. Этот подход объединяет DevSecOps, то есть разработку со встроенными требованиями безопасности, и MLOps — управление жизненным циклом моделей машинного обучения. В проектах ГК Softline требования безопасности учитываются на всех этапах: от проектирования и подготовки данных до тестирования, запуска, мониторинга и реагирования на инциденты. Смысл подхода заключается в том, чтобы проверять безопасность на каждом этапе. Если отложить её до конца проекта, исправление архитектурной ошибки, небезопасной интеграции или проблемы с данными потребует больше времени и ресурсов.

В Softline начинают с оценки зрелости процессов и инвентаризации ИИ-систем. Затем анализируют архитектуру, данные, окружение и возможные сценарии атак. Следующий этап — Red Teaming LLM-приложений с учётом угроз из OWASP Top 10 for LLM Applications. Результаты проверки становятся основой для технических и организационных мер. Для системного управления нужны единые роли, зоны ответственности, процессы контроля, нормативные документы и технологические инструменты. Всё это объединяется в корпоративную модель управления ИИ.

ГК Softline также рассматривает подготовку к сертификации по ISO/IEC 42001, внедрение LLMSecOps и подбор технических средств защиты, включая LLM Firewall и LLM Guardrails, как части единой системы. Нельзя защитить модель отдельно от данных, инфраструктуры, пользователей и процессов разработки. ИИ продолжит проникать в корпоративные процессы быстрее, чем компании будут перестраивать регламенты. По мнению ГК Softline, главным риском станет разрыв между возможностями технологии и способностью бизнеса её контролировать. Сократить его можно только постоянной работой с рисками на протяжении всего жизненного цикла ИИ.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.