• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
2 часа назад
ФизТех
96

Ученые придумали новые подходы для создания реалистичных картинок с помощью нейронных сетей

4.5

Команда российских ученых, работающих в МФТИ, Иннополисе и Сколково, совершила научный прорыв в области генеративного моделирования — создании новых изображений, похожих на настоящие фотографии или рисунки. Они разработали новый метод, который значительно ускоряет и упрощает процесс генерации в теории и на практике.

Один из тестов для проверки новых методов — плавное преобразование фотографий детей в фотографии взрослых / © NeurIPS 2024

Их результаты опубликованы в материалах конференции NeurIPS 2024. Генеративное моделирование — это область искусственного интеллекта, занимающаяся созданием новых данных, подобных уже существующим. Это могут быть изображения, тексты, музыкальные произведения и многое другое. Генеративные модели находят применение в самых разных областях: от создания реалистичных изображений для игр и фильмов до разработки новых лекарств и материалов. Одна из ключевых технологий в этой области — сопоставление потоков (Flow Matching).

Сопоставление потоков нужно для того, чтобы плавно преобразовать одно распределение данных в другое. Например, превратить набор черно-белых изображений в набор цветных фото, на которых нарисовано то же самое. Сопоставление потоков похоже на создание «реки» или «потока», который течет из одного распределения в другое. Каждый элемент данных при таком подходе представляется собой как бы частичку, которая плывет по этому потоку, плавно изменяя свои свойства. Задача заключается в том, чтобы найти поток, который наилучшим образом преобразует исходные данные в целевые.

В ранних моделях, основанных на сопоставлении потоков, «река» часто имела извилистые русла, а «путешествие» частиц было долгим и сложным. Это приводило к замедлению процесса генерации новых данных. Поэтому ученые искали способы сделать траектории потока максимально прямыми.

Существующие подходы к выпрямлению траекторий имели свои недостатки. Некоторые методы были итеративными, то есть многократно повторяли процесс улучшения «прямоты», накапливая при этом ошибки. Другие методы основывались на упрощенных приближениях, которые не гарантировали нужного результата.

Новый метод оптимального сопоставления потоков, представленный на конференции NeurIPS 2024, решает эти проблемы. Авторы исследования разработали и теоретически обосновали новый подход, который позволяет вычислять поток с прямыми траекториями всего за одну минимизацию функции потерь, используя для этого векторные поля, параметризованные выпуклыми функциями. Вместо того, чтобы позволять точкам блуждать по всем возможным путям, новый подход оптимального сопоставления потоков использует особые «векторные поля», которые задают прямые траектории движения.

Оптимальное соответствие потока (OFM). Для любого начального плана транспортировки π между p0 и p1, OFM получает прямые траектории всего за одну минимизацию функции потерь. Эти траектории выполняют оптимальное перемещение с точки зрения квадратичной функции стоимости / © NeurIPS 2024

Это подобно тому, как строители прокладывают прямую дорогу между двумя пунктами, не допуская изгибов. Эти векторные поля математически связаны с градиентами выпуклых функций , которые задают «инструкции» для движения точек по прямым путям. Это позволяет получить поток с прямыми траекториями и, следовательно, генерировать новые данные намного быстрее и эффективнее, чем с помощью предыдущих методов. Разработанный авторами алгоритм не требует многократных итераций и сложных приближений, что значительно упрощает процесс и повышает точность.

В своем исследовании ученые продемонстрировали валидность доказанной теории и эффективность предложенного ими метода на различных задачах, начиная от простых двумерных примеров и заканчивая довольно сложными задачами перевода изображений.

Новый подход показал лучшие результаты, чем существующие методы, значительно уменьшив погрешность и ускорив генерацию реалистичных изображений.

«Наш подход может быть эффективно использован для решения различных задач, связанных с созданием новых наборов данных и их преобразованием. Например, для создания реалистичных изображений человеческих лиц, превращения эскизов в фотореалистичные картинки, генерации новых текстур и для восстановления ранее поврежденных изображений» — рассказал Александр Гасников, заведующий лабораторией математических методов оптимизации МФТИ.

Разработка нового алгоритма открывает новые возможности для исследований в области генеративного моделирования. Ученые планируют изучить применение его к еще более сложным задачам, а также улучшить сам алгоритм для повышения его скорости и универсальности. Их исследование обещает ускорить развитие технологий, связанных с созданием и преобразованием данных, открывая новые возможности для различных областей науки и техники.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 15:52
Игорь Байдов

Команда американских астрономов изучила околоземный астероид 2024 PT5, который почти на два месяца стал временным спутником нашей планеты, и установила его природу. Похоже, он представляет собой отколовшуюся лунную породу. По мнению авторов новой научной работы, в космосе дрейфует скрытая популяция таких объектов, все они ожидают своего открытия.

Вчера, 08:12
Полина Меньшова

В сказках действие происходит в вымышленном мире, который во многом устроен не так, как настоящий. Ученые из Нидерландов выяснили, риск каких болезней был бы высоким у принцесс из мультфильмов Disney в реальной жизни.

Вчера, 18:33
Юлия Трепалина

Видеонаблюдение сегодня стало практически повсеместным. Мы попадаем в объективы камер на улице и в разных общественных местах, на работе и даже дома, когда находимся перед ноутбуком. Из примеров в научной литературе известно, что когда люди знают о наблюдении, это меняет их сознательное поведение. Новый эксперимент показал, что видеослежение способно также вызывать у человека непроизвольные, то есть неосознаваемые реакции, влиять на восприятие окружающего, а значит, и на психическое состояние.

13 декабря
Юлия Трепалина

С какого возраста зооврачи считают собак престарелыми? Это недавно выяснили исследователи из Великобритании и Венгрии, проанализировав карты пациентов ветеринарных клиник. Также ученые установили, от каких проблем со здоровьем чаще страдают пожилые питомцы.

16 декабря
Полина Меньшова

Человек и животные осваивают навыки, обучаясь на собственном опыте. Однако ученым из США удалось без явного обучения и физических манипуляций внести в мозг шаблон активности. Это позволило людям усвоить информацию и заставило по-другому воспринимать визуальные образы.

13 декабря
Елизавета Александрова

Солнечной системе уже 4,6 миллиарда лет, и нынешнее расположение планет выдает ее явно динамичное прошлое: что-то заставляло миры смещаться. Недавнее открытие первых известных науке межзвездных объектов навело астрономов на мысль, что такой объект мог навестить наше космическое семейство в далеком прошлом и именно это создало ту картину, которую наблюдаем сейчас.

28 ноября
Елизавета Александрова

Обсерватории постоянно улавливают «мигающие» радиосигналы из глубин Вселенной. Чаще всего их источниками оказываются нейтронные звезды, которые за это и назвали пульсарами. Но к недавно обнаруженному источнику GLEAM-X J0704-37 они, по мнению астрономов, отношения не имеют.

25 ноября
Полина Меньшова

Многие одинокие люди считают, что окружающие не разделяют их взглядов. Психологи из США решили проверить, так ли это на самом деле, и обнаружили общую особенность у людей с недостаточным количеством социальных связей.

3 декабря
Елизавета Александрова

Американская лунная программа «Артемида» предусматривает экспедиции длительностью от нескольких дней до долгих недель и даже месяцев, но луномобиля для передвижения экипажа по поверхности спутника Земли на сегодня нет. Поэтому космическое агентство США продумывает план действий на случай, если астронавты окажутся далеко от базы и кто-то из них внезапно не сможет идти самостоятельно.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно