Новая китайская ИИ-модель Kimi K3.1 Pro обошла в тестах GPT-6 Astra

Модель умеет выполнять многоэтапные задачи с помощью внешних инструментов. В тесте Terminal-Bench 4.0, оценивающем работу ИИ-агентов с командами терминала, Kimi K3.1 Pro набрала 65,7% — немного меньше, чем Claude Opus 5.5 (66,4%), но больше, чем GPT-6 Astra (58,2%). В независимом рейтинге Artificial Analysis Intelligence Index модель получила 55 баллов, заняв четвертое место среди оцениваемых систем: она уступила Claude Opus 5.5 (58 баллов), но опередила GPT-6 Astra (51 балл).

Разработчик также отмечает прогресс в 3D-моделировании и пространственном мышлении. Модель может создавать трёхмерные объекты по текстовым описаниям, эскизам и изображениям, а также писать скрипты для работы с инструментами вроде Blender и CAD-программ. Среди демонстрационных проектов Moonshot представила интерактивные 3D-сцены, модели архитектурных объектов и механических деталей.

Kimi K3.1 Pro улучшила результаты и в финансовых задачах — от анализа документов и инвестиционных исследований до построения финансовых моделей. По внутренним тестам Moonshot, показатель модели в оценке качества финансовых исследований вырос на 11,6 балла относительно K3, а в тесте бизнес-операций результат оказался в 4,2 раза выше. Компания также заявила о снижении частоты фактических ошибок в специальном стресс-тесте. Однако эти показатели получены на специально подобранных сложных заданиях и не отражают частоту ошибок при обычном использовании.

При разработке Kimi K3.1 Pro Moonshot отдельно ограничила возможности модели в области кибербезопасности. Компания выяснила, что обучение на данных о кибербезопасности и выполнение соответствующих задач в процессе обучения с подкреплением усиливали способность модели находить и использовать уязвимости в программном обеспечении. Поэтому разработчик исключил такие сведения и задачи из обучения открытой версии, сохранив при этом общие навыки программирования и отладки.

По внутреннему тесту Moonshot на поиск и эксплуатацию уязвимостей Kimi K3.1 Pro решила 81% задач в режиме pass@3, то есть с учетом до трех попыток на каждую задачу. Версия без мер по снижению киберрисков набрала 90,5%, а предыдущая K3 — 33,3%. То есть фильтрация обучающих данных снизила эффективность модели в киберзадачах. При этом разработчик подчеркивает, что ограничения не устраняют такие возможности полностью. Результаты тестирования не были независимо подтверждены.

Kimi K3.1 Pro и ускоренная версия Highspeed уже доступны через Kimi.ai, мобильные приложения Kimi, Kimi Work, Kimi Code и API компании. Полные веса модели Moonshot планирует опубликовать в начале ноября. Это позволит сторонним разработчикам запускать и модифицировать модель на собственных системах.