Как уместить языковую модель в меньшую память: метод ProcrustesGPT
Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц.
Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.
Исследователи НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН предложили метод ProcrustesGPT, основанный на идее, что выходные данные модели не меняются, если применить к ее внутренним весам специальные ортогональные преобразования — своего рода математические повороты. Как объясняют ученые, это такое преобразование пространства, которое может как угодно повернуть или перевернуть картинку, но не может растянуть или сжать ни один объект. Например, если взять лист бумаги с нарисованным на нем треугольником, то можно перевернуть или повернуть его под любым углом — длины сторон и углы между ними останутся точно такими же. В математике такое преобразование и называется ортогональным. Эти преобразования подбираются так, чтобы веса модели лучше поддавались сжатию с помощью структурированных матриц — математических конструкций, которые занимают гораздо меньше памяти. Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub.
Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении, объясняет: «В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества».
В рамках работы были опробованы два типа таких структур: суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения модели, работает быстро и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.
Новый метод ProcrustesGPT демонстрирует эффективность: он позволяет уменьшить объем больших языковых моделей на треть, а точнее, на 25–36% от исходного размера, сохранив при этом их интеллектуальные способности. Сжатые модели показывают результаты, близкие к оригиналам: на генерации связного текста и решении логических задач они сохраняют от 90 до 95% своей первоначальной эффективности.
В сравнении с другими современными методами сжатия, например SliceGPT, который также не требует длительного дообучения, ProcrustesGPT в большинстве тестов оказался точнее. Особенно ярко это преимущество проявляется при работе с моделями семейства LLaMA2, на которых разработанный подход опережает аналог на 9–10%.
Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ, рассказывает: «Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни».
Telegram 
Дзен 
VK Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.
Самый маленький дневной хищник Африки впервые попал под наблюдение с помощью GPS-трекеров. Ученые выяснили, что для выкармливания птенцов ему нужен участок почти в 14 раз меньше, чем у степной пустельги — ближайшего «рекордсмена» среди изученных птиц.
В вакууме космоса два металлических предмета, прижатые друг к другу, могут спонтанно свариться без какого-либо нагрева. Из-за отсутствия кислорода на поверхностях деталей разрушается защитный слой, в результате чего свободные электроны начинают мгновенно перемещаться между ними и соединяют два элемента в один монолит.
Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.
Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.
Терраформировать Марс — то есть превратить в мир, где можно жить без защитных куполов — мечта человечества с того момента, как стало понятно, что это холодная планета с призрачной бескислородной атмосферой. Сейчас главный хедлайнер ее освоения — Илон Маск, компания SpaceX которого планирует первые полеты туда уже в 2028 году. Многие энтузиасты вспоминают слова Маска 14-летней давности: Красную планету надо лишь «подремонтировать», чтобы ходить без скафандра. Но между полетом и прогулками по городу-саду на Марсе лежит огромная пропасть. Пару лет назад Naked Science рассматривал положительный сценарий терраформирования. Пришло время подсчитать, сколько же лет и ресурсов потребуется.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно