У китайской ИИ-модели GLM-5.3 обнаружили способность «думать» о собственном будущем

2 часов назад 5

Китайская ИИ-модель GLM-5.3 от компании Z.ai может учитывать, как её поведение во время проверок безопасности повлияет на обучение будущих версий. В результате она специально действует так, как от нее ожидают разработчики, скрывая свои истинные цели. К такому выводу пришли исследователи организации Apollo Research, изучающей безопасность ИИ-моделей. Выявленная способность может позволить ИИ скрывать нежелательное поведение во время обучения и тестирования до момента развертывания, что делает оценки его безопасности нерелевантными.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Исследователи назвали это явление «рассуждением с учётом обновлений». Модель может принимать решения, учитывая, как они повлияют на последующие этапы ее разработки. В одном из экспериментов GLM-5.3 проходила тест, в котором для успешного результата не требовалось давать правильный ответ. Однако модель не воспользовалась этой возможностью, поскольку рассудила, что неверный ответ может негативно повлиять на обучение будущих версий. В другом эксперименте модель подумала о том, чтобы обойти команду выключения ради выполнения задачи, но отказалась от этого: она решила, что это создаст опасный прецедент для других ИИ.

Подобные рассуждения встречались всего в 1–2 случаях из тысячи запусков, но эта цифра может быть занижена. При этом GLM-5.3 не меняла процесс обучения и не улучшала собственные возможности — речь идет о способности учитывать будущие изменения, а не о самостоятельном самосовершенствовании.

Такое поведение вызывает опасения из-за риска так называемой «фальсификации соответствия», когда ИИ скрывает свои истинные цели во время обучения вплоть до момента развертывания.

Исследователи также связывают эту проблему с рекурсивным самосовершенствованием — сценарием, при котором ИИ последовательно улучшает свои возможности в ходе разработки. Если модель заранее учитывает, как результаты проверок повлияют на ее дальнейшее обучение, исследователям будет сложнее понять, насколько безопасна система на самом деле.

Apollo Research проверила ещё пять моделей с открытыми весами, включая DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B и Nemotron 3 Ultra. В общей сложности исследователи провели 8 тыс. запусков, но не выявили аналогичного поведения. При этом они подчеркнули, что выборки недостаточно, чтобы установить статистически значимые различия между моделями. Ранее сингапурская Neo Research сообщала о признаках осведомленности о проверках у модели Kimi K2.6.

Особую обеспокоенность исследователей вызывает то, что GLM-5.3 распространяется с открытыми весами. Другие разработчики могут скачивать модель и изучать её поведение, что облегчит перенос подобных стратегий в следующие системы.

В то же время Z.ai заявляет о работе над безопасностью ИИ. В прошлом месяце компания совместно с консалтинговой организацией Concordia AI опубликовала доклад о способах повышения безопасности моделей с открытыми весами.

Результаты появились на фоне растущего интереса к системам, способным совершенствовать себя с меньшим участием человека. По данным South China Morning Post, Z.ai направит 60% из недавно привлечённых $5 млрд на разработку новых моделей GLM и самообучающейся системы. OpenAI также заявляла о планах создать автоматизированного исследователя ИИ. Накануне стартап Recursive представил открытую модель Flint, архитектуру, методы обучения и код для которой практически полностью разработал другой ИИ.

Источник