Российские учёные придумали, как снизить нагрузку на дата-центры

Учёные Московского физико-технического института разработали алгоритм HARP, который позволяет эффективнее сжимать нейросети и снижать потребность в вычислительных ресурсах дата-центров. Разработка и уже обработанные с её помощью модели доступны для свободного использования. Об этом сообщает IXBT News.

Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что HARP можно встроить в уже используемые инструменты сжатия без необходимости перестраивать привычные процессы разработки.

Алгоритм HARP улучшает сжатие больших языковых моделей и помогает уменьшить потери точности без замены существующих методов квантования. Решение призвано повысить эффективность работы больших языковых моделей, которым требуются значительные мощности и высокая пропускная способность памяти. В основе подхода лежит улучшение квантования — метода, при котором веса нейросети представляют меньшим количеством битов, сокращая объём данных. Алгоритм HARP помогает уменьшить потери точности и не заменяет существующие методы квантования, а дополняет их. Разработку протестировали на моделях разного масштаба. Более эффективное использование имеющегося оборудования может облегчить развитие отечественных ИИ-сервисов и их внедрение в различных отраслях экономики. При этом реальное снижение нагрузки будет зависеть от характеристик моделей и условий их эксплуатации.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.