«Контекстные бомбы» снижают эффективность атак с применением ИИ

Исследователи из компании Tracebit разработали новый способ защиты от атак автономных ИИ-агентов и предложили использовать так называемые «контекстные бомбы» (context bombs). Идея заключается в том, что атакующий агент автоматически находит при изучении цели скрытые промпты-ловушки, которые сбивают ИИ с курса, направляют к фальшивым целям и заставляют тратить время и токены впустую.

Ранее специалисты Tracebit уже экспериментировали с подобными промптами, пытаясь активировать встроенные защитные механизмы моделей. Теперь же исследователи сосредоточились на обмане агентов и подготовили девять типов ловушек с ложными целями и намеренно сложными задачами. По сути, защитники использовали тот же принцип, что применяется для вредоносных промпт-инжектов, внедряя собственные инструкции, которые агент может принять вместо исходной задачи.

В рамках проведенных тестов исследователям удалось полностью остановить атаки GPT 5.6 Cyber, Kimi K3, Qwen 3.8 Max и DeepSeek V4 Pro. Против более мощных моделей защита тоже сработала: количество успешных атак GPT-6 Astra сократилось на 54%, а расходы на проведение одной атаки выросли почти в четыре раза. В случае Claude Opus 5 эффективность атак и вовсе упала на 91%.

Самой действенной «контекстной бомбой» оказался фальшивый отчет о пентесте. В нем реальные пути для развития атаки описывались как специально расставленные защитниками ловушки, а ложные цели, наоборот, выдавались за ценные и уже успешно взломанные системы. Из-за этого ИИ-агенты избегали настоящих целей и тратили ресурсы и время на приманки. В результате количество достигнутых ИИ целей сокращалось на 58%, а некоторые агенты, поверив предупреждениям из отчета, вообще прекращали атаку. В случае Cyber, Kimi, Qwen и DeepSeek количество успешных атак сократилось с 39 из 40 до 2 из 40.

Среди других представленных аналитиками «бомб» числятся фальшивый веб-сервис, который заставляет агента снова и снова отправлять запросы в надежде получить полезные данные, якобы ценные пароли, для получения которых агенту приходится преодолевать один слой шифрования за другим, а также бесконечная база данных, где каждая страница ссылается на следующую. При использовании последней ловушки модель GLM-5.3 успела изучить 825 страниц, потратив 55 минут, затем распознала обман, переключилась на другие направления, но позже все равно вернулась и попробовала еще раз.

Добиться наилучшего результата специалистам удалось, комбинируя все девять техник. Так, в этом случае ни одна из протестированных китайских моделей Moonshot, Alibaba и DeepSeek вообще не смогла выполнить поставленную атакующую задачу.

Эксперты пишут, что даже если «контекстная бомба» не останавливала атаку полностью, при одновременном использовании всех девяти «бомб» расходы атакующего на одну достигнутую цель возрастали в 23 раза.

Сооснователь и глава Tracebit Энди Смит (Andy Smith) объясняет, что цель такого подхода — заставить атакующие модели «ходить по кругу», тратя время, токены и избегая реальных целей. Кроме того, чем хаотичнее ведет себя запутавшийся агент, тем выше вероятность, что его обнаружат средства мониторинга, и у защитников появится больше времени на реагирование.