Как уместить языковую модель в меньшую память: метод ProcrustesGPT

Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.

Исследователи НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН предложили метод ProcrustesGPT, основанный на идее, что выходные данные модели не меняются, если применить к ее внутренним весам специальные ортогональные преобразования — своего рода математические повороты. Как объясняют ученые, это такое преобразование пространства, которое может как угодно повернуть или перевернуть картинку, но не может растянуть или сжать ни один объект. Например, если взять лист бумаги с нарисованным на нем треугольником, то можно перевернуть или повернуть его под любым углом — длины сторон и углы между ними останутся точно такими же. В математике такое преобразование и называется ортогональным. Эти преобразования подбираются так, чтобы веса модели лучше поддавались сжатию с помощью структурированных матриц — математических конструкций, которые занимают гораздо меньше памяти.  Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub. 

Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении, объясняет: «В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества».

В рамках работы были опробованы два типа таких структур: суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения модели, работает быстро и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.

Новый метод ProcrustesGPT демонстрирует эффективность: он позволяет уменьшить объем больших языковых моделей на треть, а точнее, на 25–36% от исходного размера, сохранив при этом их интеллектуальные способности. Сжатые модели показывают результаты, близкие к оригиналам: на генерации связного текста и решении логических задач они сохраняют от 90 до 95% своей первоначальной эффективности.

В сравнении с другими современными методами сжатия, например SliceGPT, который также не требует длительного дообучения, ProcrustesGPT в большинстве тестов оказался точнее. Особенно ярко это преимущество проявляется при работе с моделями семейства LLaMA2, на которых разработанный подход опережает аналог на 9–10%.

Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ, рассказывает: «Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни». 

НИУ ВШЭ

500 статей

Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».

Показать больше

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram