На взломанной PlayStation 5 запустили языковую модель Qwen с 27 млрд параметров

Разработчик под никнеймом abhi245y выпустил приложение PS5LM Plus для запуска языковых моделей на графическом процессоре PlayStation 5. В тестах Qwen 3.8 с 27 млрд параметров генерирует примерно 20 токенов в секунду. Все вычисления консоль выполняет локально, а отправлять запросы к модели можно с помощью веб‑интерфейса и смартфона или компьютера в одной сети с PS5.

Главный экран PS5LM Plus

В основе проекта лежит PS5LM Мерта Кобанова (Mert Cobanov). Ранее разработчик перенёс на PlayStation 5 открытый движок llama.cpp. Один из минусов был в том, что система запускала модели на CPU. Из‑за этого скорость генерации ответов был медленной.

Автор PS5LM Plus переписал проект и оформил его в виде отдельного приложения для PS5. Если фоновому модулю были доступны всего 6 ГБ памяти без графического ускорителя, то приложение уже получило до 12 ГБ видеопамяти консоли и возможность использовать GPU. Все вычисления приложения проходят через Vulkan‑бэкенд библиотеки ggml и порт драйвера RADV из проекта PS5_Vulkan.

Чтобы Qwen поместилась в память, разработчик использовал квантованные версии. UD‑IQ2_XXS занимает около 6,8 ГБ и генерирует ответы со скоростью 20,7 токена в секунду при контекстном окне в 64 тыс. токенов. UD‑Q2_K_XL занимает уже 9,2 ГБ и выдаёт скорость в 20,3 токена при контекстном окне в 32 тыс. токенов. В тестах также участвовали Gemma 4 E4B и Llama 3.2 3B: 61 и 124 токена в секунду соответственно. Для сравнения, Qwen на CPU генерировала около одного токена в минуту и динамически подгружала веса с накопителя.

Библиотека моделей

PS5LM Plus работает с моделями в формате GGUF и может загружать их с внутреннего накопителя, внешнего USB‑диска, дополнительного M.2 SSD, установленного в слот расширения, или Hugging Face. На экран телевизора приложение выводит скорость генерации, загрузку процессора, энергопотребление и температуру. Можно подключать внешние клиенты через OpenAI‑совместимый API.

Параметры загруженной модели

Для запуска PS5LM Plus нужна взломанная PlayStation 5 с etaHEN, kstuff и ShadowMountPlus. Код проекта опубликован по лицензии GPL-3.0.