Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Как уместить языковую модель в меньшую память: метод ProcrustesGPT
Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц.
Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.
Исследователи НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН предложили метод ProcrustesGPT, основанный на идее, что выходные данные модели не меняются, если применить к ее внутренним весам специальные ортогональные преобразования — своего рода математические повороты. Как объясняют ученые, это такое преобразование пространства, которое может как угодно повернуть или перевернуть картинку, но не может растянуть или сжать ни один объект. Например, если взять лист бумаги с нарисованным на нем треугольником, то можно перевернуть или повернуть его под любым углом — длины сторон и углы между ними останутся точно такими же. В математике такое преобразование и называется ортогональным. Эти преобразования подбираются так, чтобы веса модели лучше поддавались сжатию с помощью структурированных матриц — математических конструкций, которые занимают гораздо меньше памяти. Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub.
Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении, объясняет: «В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества».
В рамках работы были опробованы два типа таких структур: суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения модели, работает быстро и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.
Новый метод ProcrustesGPT демонстрирует эффективность: он позволяет уменьшить объем больших языковых моделей на треть, а точнее, на 25–36% от исходного размера, сохранив при этом их интеллектуальные способности. Сжатые модели показывают результаты, близкие к оригиналам: на генерации связного текста и решении логических задач они сохраняют от 90 до 95% своей первоначальной эффективности.
В сравнении с другими современными методами сжатия, например SliceGPT, который также не требует длительного дообучения, ProcrustesGPT в большинстве тестов оказался точнее. Особенно ярко это преимущество проявляется при работе с моделями семейства LLaMA2, на которых разработанный подход опережает аналог на 9–10%.
Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ, рассказывает: «Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни».
Telegram 
Дзен 
VK Нейробиологи разработали строгий экспериментальный протокол, чтобы выяснить, как мозг конструирует картину мира в области слепого пятна сетчатки. Это поможет формально проверить и сравнить предсказания трех популярных теорий сознания.
Городище Пармайлово I на Урале долгие годы оставалось загадкой для исследователей. Из-за отсутствия раскопок его причисляли то к древним захоронениям, то к средневековым поселениям, а предполагаемый возраст памятника колебался в диапазоне нескольких столетий. Впервые разрешить противоречия помогли артефакты, обнаруженные в ходе раскопок учеными Пермского Политеха и ПГГПУ. Они нашли предметы, которые позволили точно датировать объект и определить его культурную принадлежность и место в истории России.
Ученые из Института космических исследований РАН и МФТИ раскрыли химический механизм, объясняющий появление молекул воды на поверхностях астероидов.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
На наземные растения, в основном деревья, приходится 80 процентов всей биомассы Земли, 450 миллиардов тонн сухого углерода и более двух триллионов тонн «живого веса». Поэтому идея сажать новые леса для связывания СО2 из атмосферы долго казалась логичной. Новые данные показали, что реальность заметно сложнее.
«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно