• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.02.2023
НИУ ВШЭ
2 064

В НИУ ВШЭ научили нейросеть учиться на несколько порядков эффективнее

4.6

Нейросетевые генеративные модели в последние годы достигли впечатляющих результатов, однако важной задачей остается повышение эффективности их работы. Исследователям факультета компьютерных наук НИУ ВШЭ и Института искусственного интеллекта AIRI удалось оптимизировать обучение нейросети StyleGAN2, создающей реалистичные картинки, сократив число обучаемых параметров на четыре порядка. При этом качество полученных изображений осталось высоким.

Сравнение предложенного подхода с основным бейзлайном (StyleGAN-NADA). Методы показывают сопоставимое визуальное качество, притом, что предложенный подход имеет на порядки меньше обучаемых параметров / ©Пресс-служба НИУ ВШЭ / Автор: Milonia Larcius

Результаты работы представлены в докладе на конференции NeurIPS 2022. Современные модели умеют генерировать человеческие лица в таком качестве, что их не отличить от лиц настоящих людей, и в то же время эти лица — новые, то есть таких людей в мире никогда не существовало. Одним из многообещающих типов генеративных моделей стала GAN (Generative Adversarial Network) — генеративно-состязательная сеть. Это комбинация из двух нейронных сетей, одна из которых (генератор) производит образцы, а другая (дискриминатор) — старается отличить правильные образцы от неправильных. Так как генератор и дискриминатор имеют противоположные цели, между ними возникает антагонистическая игра, которая способствует быстрому достижению общей цели — созданию реалистичного изображения.

Основная проблема при обучении генеративных моделей — сбор большого количества изображений высокого качества. Для того чтобы научиться генерировать реалистичные лица в высоком разрешении, сети понадобится порядка 100 тысяч разнообразных лиц. К сожалению, собрать такой датасет сложно, особенно в некоторых ситуациях, когда, например, нужно получить портреты в стиле конкретного художника или персонажей из вселенной Pixar.

Слева: предложенная доменная модуляция и ее механизм в архитектуре StyleGAN2. Справа: механизм доменной адаптации с помощью обучения доменных векторов / ©Пресс-служба НИУ ВШЭ

Однако даже в экстремальных случаях, когда доступно несколько примеров стилизованных изображений или только текстовые описания, есть методы для дообучения генеративной модели, которая изначально училась на большом датасете обычных изображений. «Ранее для адаптации генератора под новый домен (например, портреты в стиле Pixar) дообучали почти все параметры — это порядка 30 миллионов. Нашей целью было уменьшить их число, так как мы понимали, что не имеет смысла учить заново весь генератор, чтобы изменить только стиль созданного ранее изображения», — отметил Дмитрий Ветров, заведующий Центром глубинного обучения и байесовских методов НИУ ВШЭ и ведущий научный сотрудник AIRI.

В статье HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks ученые Центра глубинного обучения и байесовских методов НИУ ВШЭ описали новый подход к дообучению генеративной модели StyleGAN2. Это генеративная нейросеть, которая преобразует случайный шум в реалистичную картинку. Исследователям удалось оптимизировать ее обучение, сократив число обучаемых параметров (весов) на четыре порядка за счет обучения дополнительного доменного вектора.

В архитектуре сети StyleGAN2 есть специальные трансформации (модуляции), с помощью которых входной случайный вектор контролирует семантические признаки выходного изображения, такие как пол, возраст и так далее. Ученые предложили обучать дополнительный вектор, который определяет домен выходных изображений через аналогичные модуляции.

«Если дополнительно обучать только такой доменный вектор, то домен генерируемых картинок меняется так же хорошо, как если бы мы дообучали все параметры нейронной сети. Это кардинально снижает число оптимизируемых параметров, так как размерность такого доменного вектора всего 6000, что на порядки меньше, чем 30 млн весов нашего генератора», — рассказал Айбек Аланов, первый автор статьи, стажер-исследователь Центра глубинного обучения и байесовских методов НИУ ВШЭ и научный сотрудник AIRI.

На основании полученных результатов ученые предложили первый метод мультидоменной адаптации, который позволяет адаптировать модель на несколько доменов сразу. Такая значительная оптимизация дообучения на новые домены сокращает время обучения и используемую память. С помощью такого метода можно обучить гиперсеть, которая имеет меньше параметров, чем исходный генератор, но хранит в себе сотни и даже тысячи новых доменов.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
15 мая
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

Позавчера, 14:35
Полина Меньшова

Собаки не только узнали своих владельцев во время видеосозвона, но и смогли сымитировать их поведение. При этом животные по-разному справлялись с заданием, когда видели людей сбоку, сверху и спереди.

Позавчера, 08:53
Дарья Г.

Современные звезды отличаются от звезд прошлых поколений разнообразием элементов. Но как отличить старые поколониия звезд от еще более древних? У тех и других металличность крайне низкая, а чтобы изучить историю звездообразования во Вселенной, нам нужны самые древние светила. Авторам нового исследования удалось найти отличительную характеристику таких звезд в нашей Галактике.

15 мая
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

13 мая
Александр Березин

Десятки лет назад ученые выдвинули гипотезу, что облик рода Homo возник под действием специфической задачи: добычи дичи с помощью бега. Несмотря на общую логичность этой версии, против нее выдвигали ряд контраргументов: бег энергозатратен, да и примеров «беговой охоты» в XX веке не столь много. Похоже, теперь оба эти возражения снимаются.

15 мая
Игорь Байдов

Несколько лет назад ученые открыли белый карлик, вращающийся вокруг солнцеподобной звезды в системе KIC 8145411. После ряда спектроскопических исследований выяснилось, что этот объект очень «легкий». В свою очередь, компьютерное моделирование показало, что маломассивные белые карлики в такого рода системах существовать не могут. После нового анализа американские астрономы, наконец, объяснили этот феномен.

24 апреля
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

15 мая
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

3 мая
Василий Парфенов

Ледяной покров Антарктики претерпевает значительные изменения на протяжении года, и его поведение хорошо изучено в общем. Но некоторые локальные аномалии объяснить не получается вот уже несколько десятилетий. Одна из них — полынья возвышения Мод, или полынья моря Уэдделла, которая появляется нерегулярно на одном и том же месте. Международная команда океанологов, наконец, смогла разгадать механизмы ее образования.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: