Нейросеть «оживила» «Мону Лизу»
23.05.2019
4 минуты
alex007
1532

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 17:20
28 минут
Илья Ведмеденко

Идея объединить два наиболее смертоносных класса кораблей в единое целое родилась намного раньше, чем можно было подумать. И, по сути, в значительной мере уже успела себя изжить.

5 часов назад
4 минуты
Сергей Васильев

Опрос более чем сотни молодых пар позволил выделить шесть тем, которые вызывают размолвки чаще всего, — начиная с нехватки внимания.

14 февраля
1 минута
Илья Ведмеденко

Космическое ведомство США может в обозримом будущем организовать две миссии, направленные на исследование Венеры, а также полеты к спутникам Юпитера и Нептуна.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

12 февраля
36 минут
Александр Березин

Сегодняшние удары турецкой армии в Сирии производят несколько шокирующее впечатление, но только до тех пор, пока мы не обратимся к истории. Напомним: главу Турции не так давно пытались ликвидировать в заговоре, поддерживаемом ЦРУ. И только информация из России позволила ему в последний момент спастись. У Анкары нет ни одного настоящего союзника на Западе. Фактически у нее вообще один заметный союзник: Москва. В этой ситуации Эрдоган внезапно бьет по сирийцам — другому партнеру России. Что это? Новый «удар в спину», как по Су-24 в 2015 году? Или как по Севастополю в 1914 году? Лавры Османской империи не дают покоя и тянут турок к внешнеполитическому самоубийству? Попробуем с точки зрения истории разобраться, зачем Турция сегодня, как и сто лет назад, принимает столь странные решения — и почему, на самом деле, они логичны.

13 февраля
5 минут
Полина Гершберг

Олигосахарид под названием 2’-фукозиллактоза оказался критически важным для когнитивных способностей детей.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

28 января
25 минут
Александр Березин

Недавняя научная работа предрекла серьезную эпидемию коронавируса 2019-nCoV. Согласно ей, 95% зараженных еще не зарегистрированы властями, а значит, через пару недель в одной Ухани будут сотни тысяч заболевших. При наблюдаемой смертности от вируса в 2,36% — это многие тысячи погибших. На самом деле, новая работа скорее «ловит хайп» или, если угодно, пытается держать мир настороже, чем описывает реальную эпидемию. Последние данные по заразности коронавируса показывают: он действительно неблестяще передается от человека к человеку. Для эпидемии в Китае этого достаточно, но большое число жертв за пределами этой страны маловероятно. Выясняем почему.

28 января
3 минуты
Полина Гершберг

Ученые создали информационную панель, показывающую распространение китайского коронавируса по миру в режиме реального времени. Данные вносятся из подтвержденных источников — это поможет бороться с дезинформацией.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: