Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Как уместить языковую модель в меньшую память: метод ProcrustesGPT
Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц.
Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.
Исследователи НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН предложили метод ProcrustesGPT, основанный на идее, что выходные данные модели не меняются, если применить к ее внутренним весам специальные ортогональные преобразования — своего рода математические повороты. Как объясняют ученые, это такое преобразование пространства, которое может как угодно повернуть или перевернуть картинку, но не может растянуть или сжать ни один объект. Например, если взять лист бумаги с нарисованным на нем треугольником, то можно перевернуть или повернуть его под любым углом — длины сторон и углы между ними останутся точно такими же. В математике такое преобразование и называется ортогональным. Эти преобразования подбираются так, чтобы веса модели лучше поддавались сжатию с помощью структурированных матриц — математических конструкций, которые занимают гораздо меньше памяти. Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub.
Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении, объясняет: «В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества».
В рамках работы были опробованы два типа таких структур: суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения модели, работает быстро и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.
Новый метод ProcrustesGPT демонстрирует эффективность: он позволяет уменьшить объем больших языковых моделей на треть, а точнее, на 25–36% от исходного размера, сохранив при этом их интеллектуальные способности. Сжатые модели показывают результаты, близкие к оригиналам: на генерации связного текста и решении логических задач они сохраняют от 90 до 95% своей первоначальной эффективности.
В сравнении с другими современными методами сжатия, например SliceGPT, который также не требует длительного дообучения, ProcrustesGPT в большинстве тестов оказался точнее. Особенно ярко это преимущество проявляется при работе с моделями семейства LLaMA2, на которых разработанный подход опережает аналог на 9–10%.
Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ, рассказывает: «Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни».
Telegram 
Дзен 
VK Морские биологи впервые детально задокументировали процесс родов у диких кашалотов. Анализ видеозаписей и акустических сигналов показал, что самки из разных родственных линий временно объединяются, чтобы по очереди выталкивать новорожденного на поверхность для дыхания. Это первое доказательство взаимопомощи при родах между неродственными особями у видов, не относящихся к приматам.
Ученые Кабардино-Балкарского государственного университета им. Х.М. Бербекова более десяти лет изучают уникальные свойства кефирных зерен — природных симбиотических сообществ микроорганизмов, собранных в высокогорных районах Кавказа. Исследования показывают, они могут стать основой для новых методов лечения кишечных заболеваний, восстановления иммунитета и даже создания космического питания.
Квантовые эффекты помогают ученым во множестве сфер, но работать с ними не просто — степень определенности квантового мира концептуально отличается от того, что существует в классической физике. Чтобы подтвердить, что они работают с нужными квантовыми состояниями, физикам приходится постараться.
Морские биологи впервые детально задокументировали процесс родов у диких кашалотов. Анализ видеозаписей и акустических сигналов показал, что самки из разных родственных линий временно объединяются, чтобы по очереди выталкивать новорожденного на поверхность для дыхания. Это первое доказательство взаимопомощи при родах между неродственными особями у видов, не относящихся к приматам.
Во время нейроанатомического исследования тканей полового члена ученые выявили высокую плотность нервных окончаний в области, которую анатомы и хирурги долгое время оставляли без должного внимания. Авторы научной работы предположили, что эта зона может играть важную роль в формировании сексуальных ощущений, и допустили, что именно там у мужчин находится аналог так называемой «точки G».
Жизнь в суровых условиях вечной мерзлоты — вызов даже для бактерий. Для нее требуются уникальные адаптации к холоду и другим стрессовым факторам. В новом исследовании ученые МФТИ с коллегами описали белки Exiguobacterium sibiricum — бактерии, найденной в многолетнемерзлых породах на северо-востоке Сибири. Исследователи выяснили, как набор белков в мембране микроба зависит от температуры, при которой его культивируют.
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.
За 10 лет лежания в почве сигаретные фильтры не растворились, а лишь замаскировались под грязь. Их пластиковые волокна распались на микрочастицы, намертво склеились с минералами и превратились во вторичный микропластик. Более того, на пятом году гниения мусор начал отравлять землю с новой силой.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно