• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
19.12.2024
ФизТех
3 043

Ученые придумали новые подходы для создания реалистичных картинок с помощью нейронных сетей

4.5

Команда российских ученых, работающих в МФТИ, Иннополисе и Сколково, совершила научный прорыв в области генеративного моделирования — создании новых изображений, похожих на настоящие фотографии или рисунки. Они разработали новый метод, который значительно ускоряет и упрощает процесс генерации в теории и на практике.

Один из тестов для проверки новых методов — плавное преобразование фотографий детей в фотографии взрослых / © NeurIPS 2024

Их результаты опубликованы в материалах конференции NeurIPS 2024. Генеративное моделирование — это область искусственного интеллекта, занимающаяся созданием новых данных, подобных уже существующим. Это могут быть изображения, тексты, музыкальные произведения и многое другое. Генеративные модели находят применение в самых разных областях: от создания реалистичных изображений для игр и фильмов до разработки новых лекарств и материалов. Одна из ключевых технологий в этой области — сопоставление потоков (Flow Matching).

Сопоставление потоков нужно для того, чтобы плавно преобразовать одно распределение данных в другое. Например, превратить набор черно-белых изображений в набор цветных фото, на которых нарисовано то же самое. Сопоставление потоков похоже на создание «реки» или «потока», который течет из одного распределения в другое. Каждый элемент данных при таком подходе представляется собой как бы частичку, которая плывет по этому потоку, плавно изменяя свои свойства. Задача заключается в том, чтобы найти поток, который наилучшим образом преобразует исходные данные в целевые.

В ранних моделях, основанных на сопоставлении потоков, «река» часто имела извилистые русла, а «путешествие» частиц было долгим и сложным. Это приводило к замедлению процесса генерации новых данных. Поэтому ученые искали способы сделать траектории потока максимально прямыми.

Существующие подходы к выпрямлению траекторий имели свои недостатки. Некоторые методы были итеративными, то есть многократно повторяли процесс улучшения «прямоты», накапливая при этом ошибки. Другие методы основывались на упрощенных приближениях, которые не гарантировали нужного результата.

Новый метод оптимального сопоставления потоков, представленный на конференции NeurIPS 2024, решает эти проблемы. Авторы исследования разработали и теоретически обосновали новый подход, который позволяет вычислять поток с прямыми траекториями всего за одну минимизацию функции потерь, используя для этого векторные поля, параметризованные выпуклыми функциями. Вместо того, чтобы позволять точкам блуждать по всем возможным путям, новый подход оптимального сопоставления потоков использует особые «векторные поля», которые задают прямые траектории движения.

Оптимальное соответствие потока (OFM). Для любого начального плана транспортировки π между p0 и p1, OFM получает прямые траектории всего за одну минимизацию функции потерь. Эти траектории выполняют оптимальное перемещение с точки зрения квадратичной функции стоимости / © NeurIPS 2024

Это подобно тому, как строители прокладывают прямую дорогу между двумя пунктами, не допуская изгибов. Эти векторные поля математически связаны с градиентами выпуклых функций , которые задают «инструкции» для движения точек по прямым путям. Это позволяет получить поток с прямыми траекториями и, следовательно, генерировать новые данные намного быстрее и эффективнее, чем с помощью предыдущих методов. Разработанный авторами алгоритм не требует многократных итераций и сложных приближений, что значительно упрощает процесс и повышает точность.

В своем исследовании ученые продемонстрировали валидность доказанной теории и эффективность предложенного ими метода на различных задачах, начиная от простых двумерных примеров и заканчивая довольно сложными задачами перевода изображений.

Новый подход показал лучшие результаты, чем существующие методы, значительно уменьшив погрешность и ускорив генерацию реалистичных изображений.

«Наш подход может быть эффективно использован для решения различных задач, связанных с созданием новых наборов данных и их преобразованием. Например, для создания реалистичных изображений человеческих лиц, превращения эскизов в фотореалистичные картинки, генерации новых текстур и для восстановления ранее поврежденных изображений» — рассказал Александр Гасников, заведующий лабораторией математических методов оптимизации МФТИ.

Разработка нового алгоритма открывает новые возможности для исследований в области генеративного моделирования. Ученые планируют изучить применение его к еще более сложным задачам, а также улучшить сам алгоритм для повышения его скорости и универсальности. Их исследование обещает ускорить развитие технологий, связанных с созданием и преобразованием данных, открывая новые возможности для различных областей науки и техники.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 16:07
Елизавета Александрова

В созвездии Стрельца наблюдают молодую, еще формирующуюся систему с обширным протопланетным диском, в котором «поведение» вещества выдает присутствие нескольких новорожденных планет. Как выяснилось, активное движение этого вещества дает новым мирам шанс когда-нибудь стать обитаемыми. Вдобавок небесные тела с полезными для жизни веществами все время разлетаются оттуда прочь и отправляются в межзвездное путешествие.

8 марта
Андрей

Немецкие биологи купили кусочек янтаря, добытый из карьера в российском городе Янтарный, и обнаружили в нем застывшую бабочку. Вернее, яйцо, из которого больше 30 миллионов лет назад должна была появиться бабочка. Но зародыш завяз в древесной смоле и через несколько эпох попал в руки исследователей. По характерному строению яйца ученые отнесли находку к новому роду и виду.

8 марта
Татьяна

В наши дни на кельтских языках говорят лишь в прибрежных областях северо-запада Европы. А две-три тысячи лет назад они охватывали большую часть европейского населения. Традиционно их связывали с археологической культурой колоколовидных кубков, есть работы об их появлении в Британии, на Иберийском полуострове, юго-западе Германии. А вот о прародине мнения разошлись. В новом исследовании ученые провели обширный генетический анализ древней ДНК и протестировали гипотезы происхождения этой группы индоевропейских языков.

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

8 марта
Татьяна

В наши дни на кельтских языках говорят лишь в прибрежных областях северо-запада Европы. А две-три тысячи лет назад они охватывали большую часть европейского населения. Традиционно их связывали с археологической культурой колоколовидных кубков, есть работы об их появлении в Британии, на Иберийском полуострове, юго-западе Германии. А вот о прародине мнения разошлись. В новом исследовании ученые провели обширный генетический анализ древней ДНК и протестировали гипотезы происхождения этой группы индоевропейских языков.

8 марта
Андрей

Немецкие биологи купили кусочек янтаря, добытый из карьера в российском городе Янтарный, и обнаружили в нем застывшую бабочку. Вернее, яйцо, из которого больше 30 миллионов лет назад должна была появиться бабочка. Но зародыш завяз в древесной смоле и через несколько эпох попал в руки исследователей. По характерному строению яйца ученые отнесли находку к новому роду и виду.

12 февраля
Елизавета Александрова

Пролетевший через Солнечную систему в 2017 году астероид Оумуамуа произвел неизгладимое впечатление в том числе своей беспрецедентно вытянутой формой. Астрономы попытались рассчитать, как он мог стать таким и почему в Солнечной системе мы не наблюдаем ничего подобного.

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

11 февраля
НИУ ВШЭ

Исследователи МИЭМ НИУ ВШЭ впервые в России показали эффективную работу беспроводного канала связи 6G на частотах субтерагерцового диапазона. Устройство передает данные со скоростью 12 гигабит в секунду и сохраняет стабильность сигнала, автоматически переключаясь при блокировке. Показатели соответствуют международным стандартам 6G.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно