Apple превратила простаивающие Mac в «миньонов» — и заставила их работать на ИИ

В стремлении обеспечить своим сотрудникам более широкий доступ к графическим процессорам (GPU) для задач инференса, то есть запуска обученных моделей искусственного интеллекта, Apple разработала систему Minions. Она позволяет объединять ресурсы простаивающих GPU для выполнения рабочих нагрузок ИИ.

Система Apple Minions уже помогла сделать вычислительные мощности GPU более доступными для различных подразделений компании. «До развёртывания этой системы выполнения некоторых задач инференса приходилось ждать в очереди более десяти часов из-за ограниченности централизованных ресурсов GPU. Благодаря Minions выполнение задач зачастую начинается уже через несколько минут, поскольку система задействует простаивающие компьютеры Mac», — рассказали в компании.

Недавно выпущенные компьютеры Mac mini и Mac Studio поддерживают объединение в кластеры с использованием технологии RDMA (Remote Direct Memory Access) через Thunderbolt 5. Это позволяет наращивать вычислительные мощности и объём памяти для решения единой задачи ИИ — например, для загрузки модели, которая не помещается в память одного устройства.

Minions позволяет создавать виртуальное облако GPU на базе подключённых к системе компьютеров Mac, формируя отказоустойчивый пул вычислительных узлов в рамках общей распределённой платформы. Таким образом, компьютеры не простаивают, а ресурсы GPU становятся доступными другим подразделениям компании. Основная цель системы — не столько запуск крупных моделей, сколько эффективное перераспределение незадействованных ресурсов в сети.

Кластер образуют четыре ключевых компонента: Minion Server, PostgreSQL Metadata Store, Minion Executor и Minion Watchdog. Minion Server координирует работу сети, принимая запросы от пользователей и разбивая их на подзадачи. Minion Executor выполняет инференс на GPU, загружает данные в хранилище S3 и передаёт информацию о статусе выполнения Minion Server, который ведёт учёт метаданных в базе данных PostgreSQL. Наконец, Minion Watchdog следит за ходом процесса и в случае сбоев, например когда один из компьютеров Mac перестаёт отвечать, переназначает задачи на другие устройства. Статистика из баз данных выводится на информационные панели в Grafana, обеспечивая мониторинг в реальном времени.

Подход Apple, при котором приоритет отдаётся доступности и использованию свободных ресурсов, отличается от подхода Nvidia, для которой важны высокая пропускная способность, низкие задержки и эффективное использование GPU при работе с крупными моделями.