• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
4 июня, 11:00
НИУ ВШЭ
216

Ученые упростили и ускорили дообучение нейросетей

❋ 4.4

Исследователи из ВШЭ и AIRI предложили метод быстрой донастройки нейросетей: данные обрабатываются по группам, которые затем перемешивают оптимальным образом, чтобы улучшить их взаимодействие. Метод лучше аналогов справляется с генерацией и анализом изображений, дообучением текстовых моделей. При этом он требует меньше памяти и времени на обучение.

Сравнение результатов генерации различными методами после 3000 шагов обучения / © Gorbunov, M., Yudin, N., Soboleva, V., Alanov, A., Naumov, A., Rakhuba, M. (2024). Group and shuffle: Efficient structured orthogonal parametrization. arXiv preprint

Результаты работы были представлены на конференции NeurIPS 2024. Чем больше нейросеть, тем сложнее быстро подстроить ее под новую задачу. Переобучать модель с нуля — это долго и дорого. Поэтому разработчики ищут бюджетные способы адаптировать ее под конкретную задачу, сохранив при этом общее качество исходной версии.

Один из них — донастройка с помощью ортогональных матриц: в отличие от альтернативных подходов, они сохраняют важные признаки исходной модели. Но у популярных вариантов вроде блочно-диагональных или бабочковых (Butterfly) матриц есть недостатки: они либо ограничены, либо требуют множества вычислений.

Исследователи факультета компьютерных наук НИУ ВШЭ и AIRI предложили новый способ построения матриц, который назвали «Группируй и перемешивай» (Group-and-Shuffle). Вместо того чтобы работать со всеми данными, они делят ее параметры на небольшие группы, обрабатывают каждую отдельно и перемешивают между собой. Такая структура оказалась одновременно гибкой и компактной: она помогает модели точнее подстраиваться под задачу, но при этом требует меньше вычислений и памяти.

На основе GS-матриц исследователи разработали метод GSOFT — новую реализацию ортогональной донастройки нейросетей. В отличие от предыдущих подходов, GSOFT использует меньше параметров, но сохраняет стабильность и качество обучения даже при малом объеме данных. Команда также предложила двусторонний вариант метода — Double GSOFT, который позволяет изменять параметры сразу с двух сторон, повышая гибкость и точность модели.

«Мы придумали, как формировать ортогональные матрицы, используя всего две матрицы специального вида, а не пять-шесть, как в прежних подходах. Это экономит ресурсы и время обучения», — объясняет Николай Юдин, стажер-исследователь Научно-учебной лаборатории матричных и тензорных методов в машинном обучении НИУ ВШЭ.

Исследователи протестировали подход на трех типах задач. В дообучении языковой модели RoBERTa метод работал лучше при сопоставимом числе параметров. В генерации изображений, где модель должна сохранять черты оригинала, но подстраиваться под запрос пользователя, GSOFT и Double GSOFT справились лучше популярных подходов вроде LoRA и BOFT, при этом они требуют меньше памяти и времени на обучение.

Авторы также протестировали свой подход на сверточных нейросетях, которые чаще всего используют для анализа изображений и видео — например, в распознавании лиц. Они адаптировали GS-матрицы даже для тех случаев, когда от модели требуется высокая устойчивость к помехам и искажениям.

«Мы проверили метод в различных сценариях — от языковых и генеративных моделей до устойчивых сверточных сетей. В каждом из них он работал надежно и при меньших затратах ресурсов. Это подтверждает, что мы можем использовать метод для разных целей», — комментирует старший научный сотрудник Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, руководитель группы “Контролируемый генеративный ИИ” Лаборатории FusionBrain Института AIRI Айбек Аланов.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
18 июля, 12:44
ПНИПУ

Борщевик занимает почти 300 тысяч гектаров в 39 регионах России. Известно о 12 нижегородцах, восьми петербуржцах и двух москвичах, пострадавших от вредителя этим летом. У некоторых ожоги составляют от 30 до 80% тела. На этой неделе Госдума приняла закон и обязала землевладельцев бороться с этим опасным растением. Но, помимо борщевика, есть и другие часто встречающиеся и почти настолько же токсичные представители флоры, о которых мы почти ничего не знаем. Ученые Пермского Политеха рассказали, можно ли прикасаться к борщевику ночью, как безобидный ландыш может привести к летальному исходу, а чистотел к отказу почек, и что будет если съесть мед, собранный с ядовитых растений.

18 июля, 11:48
Юлия Тарасова

Не секрет, что занятия спортом под музыку приятнее и помогают повысить продуктивность тренировок. В новом исследовании итальянские ученые на примере силовых упражнений показали, какая именно музыка лучше подходит для таких целей.

17 июля, 11:00
Сеченовский Университет

Ученые Сеченовского Университета совместно с коллегами из Китая, Бразилии и США провели критический анализ лабораторных данных о взаимодействии селена с одним из самых опасных грибковых метаболитов — токсином Т-2, который может содержаться в зерновых продуктах. Они выяснили, посредством каких механизмов дефицит селена усиливает разрушительное воздействие токсина на организм в целом, и хрящевую ткань в частности, что может быть напрямую связано с развитием болезни Кашина-Бека — тяжелой артропатии, характерной для регионов с селенодефицитной почвой и зараженным зерном.

18 июля, 12:44
ПНИПУ

Борщевик занимает почти 300 тысяч гектаров в 39 регионах России. Известно о 12 нижегородцах, восьми петербуржцах и двух москвичах, пострадавших от вредителя этим летом. У некоторых ожоги составляют от 30 до 80% тела. На этой неделе Госдума приняла закон и обязала землевладельцев бороться с этим опасным растением. Но, помимо борщевика, есть и другие часто встречающиеся и почти настолько же токсичные представители флоры, о которых мы почти ничего не знаем. Ученые Пермского Политеха рассказали, можно ли прикасаться к борщевику ночью, как безобидный ландыш может привести к летальному исходу, а чистотел к отказу почек, и что будет если съесть мед, собранный с ядовитых растений.

17 июля, 08:40
Игорь Байдов

Используя образцы, собранные миссией «Чанъэ-5», китайские ученые нашли способ извлекать воду из лунного грунта и перерабатывать выдыхаемый астронавтами углекислый газ. Это делается за счет небольшого устройства, работающего на солнечной энергии. Авторы нового исследования уверены: в будущем их прибор сможет обеспечить лунные поселения водой, кислородом и топливом.

18 июля, 11:48
Юлия Тарасова

Не секрет, что занятия спортом под музыку приятнее и помогают повысить продуктивность тренировок. В новом исследовании итальянские ученые на примере силовых упражнений показали, какая именно музыка лучше подходит для таких целей.

25 июня, 15:19
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

2 июля, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

12 июля, 22:10
Редакция Naked Science

Лето 2025 обещает насыщенную линейку научно-фантастических сериалов на ведущих стриминговых платформах. От адаптаций культовых романов до масштабных космических одиссей — мы отобрали проекты, на которые стоит обратить внимание.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно