• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
23.05.2019, 07:16
alex007
16,4 тыс

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia / Автор: Андрей Чернов

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

Нейросеть «оживила» «Мону Лизу» – иллюстрация к материалу на Naked Science

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
12 августа, 14:39
Илья Гриднев

Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.

12 августа, 19:49
Редакция Naked Science

МС-21-310 — импортозамещенная версия российского пассажирского самолета МС-21. Вскоре он появится на отечественных аэродромах, пообещали в «Ростехе». Также госкорпорация опубликовала видео, на котором можно увидеть процесс строительства этого авиалайнера.

12 августа, 20:52
Марк Чернов

Качественное дошкольное образование закладывает прочный фундамент успехов на долгие годы вперёд — вплоть до выпускного класса. Двадцатилетнее исследование показало, что дети, которые в возрасте четырех лет перед поступлением в школу посещали бесплатные государственные подготовительные классы, учатся существенно лучше сверстников, посещавших обычные детские сады с упором на простой присмотр или оставшихся на домашнем воспитании.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

12 августа, 14:39
Илья Гриднев

Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.

10 августа, 11:42
Илья Гриднев

Британские экологи выяснили, что большинство людей не догадываются о вреде солнцезащитных кремов для Мирового океана. Обзор научной литературы и локальный уличный опрос наглядно продемонстрировали разрыв между реальными экологическими угрозами и повседневными привычками покупателей.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]

Комментарии

Написать комментарий