Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые придумали новые подходы для создания реалистичных картинок с помощью нейронных сетей
Команда российских ученых, работающих в МФТИ, Иннополисе и Сколково, совершила научный прорыв в области генеративного моделирования — создании новых изображений, похожих на настоящие фотографии или рисунки. Они разработали новый метод, который значительно ускоряет и упрощает процесс генерации в теории и на практике.
Их результаты опубликованы в материалах конференции NeurIPS 2024. Генеративное моделирование — это область искусственного интеллекта, занимающаяся созданием новых данных, подобных уже существующим. Это могут быть изображения, тексты, музыкальные произведения и многое другое. Генеративные модели находят применение в самых разных областях: от создания реалистичных изображений для игр и фильмов до разработки новых лекарств и материалов. Одна из ключевых технологий в этой области — сопоставление потоков (Flow Matching).
Сопоставление потоков нужно для того, чтобы плавно преобразовать одно распределение данных в другое. Например, превратить набор черно-белых изображений в набор цветных фото, на которых нарисовано то же самое. Сопоставление потоков похоже на создание «реки» или «потока», который течет из одного распределения в другое. Каждый элемент данных при таком подходе представляется собой как бы частичку, которая плывет по этому потоку, плавно изменяя свои свойства. Задача заключается в том, чтобы найти поток, который наилучшим образом преобразует исходные данные в целевые.
В ранних моделях, основанных на сопоставлении потоков, «река» часто имела извилистые русла, а «путешествие» частиц было долгим и сложным. Это приводило к замедлению процесса генерации новых данных. Поэтому ученые искали способы сделать траектории потока максимально прямыми.
Существующие подходы к выпрямлению траекторий имели свои недостатки. Некоторые методы были итеративными, то есть многократно повторяли процесс улучшения «прямоты», накапливая при этом ошибки. Другие методы основывались на упрощенных приближениях, которые не гарантировали нужного результата.
Новый метод оптимального сопоставления потоков, представленный на конференции NeurIPS 2024, решает эти проблемы. Авторы исследования разработали и теоретически обосновали новый подход, который позволяет вычислять поток с прямыми траекториями всего за одну минимизацию функции потерь, используя для этого векторные поля, параметризованные выпуклыми функциями. Вместо того, чтобы позволять точкам блуждать по всем возможным путям, новый подход оптимального сопоставления потоков использует особые «векторные поля», которые задают прямые траектории движения.
Это подобно тому, как строители прокладывают прямую дорогу между двумя пунктами, не допуская изгибов. Эти векторные поля математически связаны с градиентами выпуклых функций , которые задают «инструкции» для движения точек по прямым путям. Это позволяет получить поток с прямыми траекториями и, следовательно, генерировать новые данные намного быстрее и эффективнее, чем с помощью предыдущих методов. Разработанный авторами алгоритм не требует многократных итераций и сложных приближений, что значительно упрощает процесс и повышает точность.
В своем исследовании ученые продемонстрировали валидность доказанной теории и эффективность предложенного ими метода на различных задачах, начиная от простых двумерных примеров и заканчивая довольно сложными задачами перевода изображений.
Новый подход показал лучшие результаты, чем существующие методы, значительно уменьшив погрешность и ускорив генерацию реалистичных изображений.
«Наш подход может быть эффективно использован для решения различных задач, связанных с созданием новых наборов данных и их преобразованием. Например, для создания реалистичных изображений человеческих лиц, превращения эскизов в фотореалистичные картинки, генерации новых текстур и для восстановления ранее поврежденных изображений» — рассказал Александр Гасников, заведующий лабораторией математических методов оптимизации МФТИ.
Разработка нового алгоритма открывает новые возможности для исследований в области генеративного моделирования. Ученые планируют изучить применение его к еще более сложным задачам, а также улучшить сам алгоритм для повышения его скорости и универсальности. Их исследование обещает ускорить развитие технологий, связанных с созданием и преобразованием данных, открывая новые возможности для различных областей науки и техники.
В созвездии Стрельца наблюдают молодую, еще формирующуюся систему с обширным протопланетным диском, в котором «поведение» вещества выдает присутствие нескольких новорожденных планет. Как выяснилось, активное движение этого вещества дает новым мирам шанс когда-нибудь стать обитаемыми. Вдобавок небесные тела с полезными для жизни веществами все время разлетаются оттуда прочь и отправляются в межзвездное путешествие.
Немецкие биологи купили кусочек янтаря, добытый из карьера в российском городе Янтарный, и обнаружили в нем застывшую бабочку. Вернее, яйцо, из которого больше 30 миллионов лет назад должна была появиться бабочка. Но зародыш завяз в древесной смоле и через несколько эпох попал в руки исследователей. По характерному строению яйца ученые отнесли находку к новому роду и виду.
В наши дни на кельтских языках говорят лишь в прибрежных областях северо-запада Европы. А две-три тысячи лет назад они охватывали большую часть европейского населения. Традиционно их связывали с археологической культурой колоколовидных кубков, есть работы об их появлении в Британии, на Иберийском полуострове, юго-западе Германии. А вот о прародине мнения разошлись. В новом исследовании ученые провели обширный генетический анализ древней ДНК и протестировали гипотезы происхождения этой группы индоевропейских языков.
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
В наши дни на кельтских языках говорят лишь в прибрежных областях северо-запада Европы. А две-три тысячи лет назад они охватывали большую часть европейского населения. Традиционно их связывали с археологической культурой колоколовидных кубков, есть работы об их появлении в Британии, на Иберийском полуострове, юго-западе Германии. А вот о прародине мнения разошлись. В новом исследовании ученые провели обширный генетический анализ древней ДНК и протестировали гипотезы происхождения этой группы индоевропейских языков.
Немецкие биологи купили кусочек янтаря, добытый из карьера в российском городе Янтарный, и обнаружили в нем застывшую бабочку. Вернее, яйцо, из которого больше 30 миллионов лет назад должна была появиться бабочка. Но зародыш завяз в древесной смоле и через несколько эпох попал в руки исследователей. По характерному строению яйца ученые отнесли находку к новому роду и виду.
Пролетевший через Солнечную систему в 2017 году астероид Оумуамуа произвел неизгладимое впечатление в том числе своей беспрецедентно вытянутой формой. Астрономы попытались рассчитать, как он мог стать таким и почему в Солнечной системе мы не наблюдаем ничего подобного.
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
Исследователи МИЭМ НИУ ВШЭ впервые в России показали эффективную работу беспроводного канала связи 6G на частотах субтерагерцового диапазона. Устройство передает данные со скоростью 12 гигабит в секунду и сохраняет стабильность сигнала, автоматически переключаясь при блокировке. Показатели соответствуют международным стандартам 6G.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии