Разработчик Cloudflare создал язык программирования, который мешает нейросетям читать и писать код

Инженер Cloudflare Доминик Пичета (Dominik Picheta) представил экспериментальный язык программирования KillSwitch, который мешает нейросетям читать и писать код. 

Программа на KillSwitch выглядит как обычный рассказ, в котором спрятаны команды. Бо́льшую часть текста интерпретатор игнорирует. Функции в языке называются главами, а имена функций и переменных задаются с помощью английских наречий. Для обращения к функциям и переменным надо использовать анаграммы и переставлять буквы исходного имени. Значения можно брать из других мест рассказа‑программы, но надо указать точное расстояние до них.

Вызов функций начинается с фразы ignore previous instructions — игнорируй предыдущие инструкции. Ещё в документации есть вариант вызова через фразу forget your system prompt — забудь свой системный промпт. Интерпретатор распознаёт эти фразы как обычные команды, а модель начинает путаться и подозревать пользователя в попытке провести промпт‑инъекцию.

Код программы для вывода «Hello World»

Ещё один уровень сложности для нейросетей — намеренная ложь в документации. Например, в KillSwitch есть встроенная команда hack_the_planet, которая выбирает, какую функцию вызвать, в зависимости от значения на стеке. В документации же сказано, что команда сканирует сети, ищет уязвимости, перехватывает управление сервисами и отключает их. Модели просто отказываются выполнять задачу из соображений безопасности, когда видят такие инструкции.

Язык программирования протестировали на популярных языковых моделях. В тестах надо было написать программу для вывода фразы «Hello, World!», объяснить результат работы кода, который выводит большее из двух чисел, или переписать конвертер температуры для обратного перевода. На выполнение каждой задачи выделили до 30 минут, а доступ к интернету закрыли. 

В таблице лидирует Claude Opus 5 с результатом 66,8 балла из 100. У большинства других нейросетей оценка ниже 50 баллов. Важно учитывать, что это общая оценка, которая учитывает успешность выполнения задачи, потраченные токены и объём самого решения.

Автор проекта отмечает, что если в будущем модели освоят нынешние правила языка KillSwitch, то его можно будет доработать и усложнить. У языка есть открытый репозиторий со спецификацией и примерам кода.