• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
23.05.2019, 07:16
alex007
16 383

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia / Автор: Андрей Чернов

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

Нейросеть «оживила» «Мону Лизу» – иллюстрация к материалу на Naked Science

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
13 октября, 14:42
Юлия Трепалина

Некоторые люди жалуются, что птицы регулярно испражняются на их машины. Опрос водителей показал, что автомобили определенного цвета и даже марок действительно чаще других становятся целью для пернатых.

13 октября, 11:10
Илья Гриднев

Согласно новой гипотезе, сознание возникает не только из-за активности нейронов, но и благодаря физическим процессам — электромагнитным полям от движения жидкости в мозге. Эта модель, как и ее предшественники, пока носит теоретический характер, но предлагает нестандартный взгляд на проблему синхронизации работы разных отделов мозга.

11 октября, 11:07
Юлия Трепалина

Некоторые домашние собаки ведут себя с игрушками так, что это напоминает поведенческую зависимость у людей. В эксперименте швейцарские ученые выявили симптомы «игрушкомании» у трети псов-участников, что может говорить об их распространенности.

13 октября, 11:10
Илья Гриднев

Согласно новой гипотезе, сознание возникает не только из-за активности нейронов, но и благодаря физическим процессам — электромагнитным полям от движения жидкости в мозге. Эта модель, как и ее предшественники, пока носит теоретический характер, но предлагает нестандартный взгляд на проблему синхронизации работы разных отделов мозга.

10 октября, 11:23
МГППУ

Креативность чаще всего ассоциируется с творчеством и искусством. Однако не всегда креатив направлен на благо. Например, схемы мошенников тоже можно назвать креативными, хотя они служат обману и личной выгоде. Такое «творчество» называют антисоциальным. К нему также относятся склонность ко лжи, оригинальной мести, злобным шуткам и розыгрышам, мошенничеству, дезинформации, политическим манипуляциям, слухам и домыслам. Психологи МГППУ рассмотрели особенности восприятия и понимания информации у людей с высокой антисоциальной креативностью и сравнили с характеристиками тех, кто обладает положительными чертами личности, в частности чертами Светлой триады — согласия, прощения и доброжелательности.

10 октября, 15:55
Игорь Байдов

Голые землекопы живут почти 40 лет — невероятный срок для грызуна размером с мышь. Недавнее открытие китайских ученых показало, что долголетие этим животным обеспечивает необычная версия одного белка, который не просто защищает организм, а буквально чинит его изнутри — ускоряет восстановление ДНК. Новые данные могут помочь продлить и человеческую жизнь.

20 сентября, 08:52
Александр Березин

Посадка, включая выгорание куска степи, прошла штатно, но часть грызунов на борту погибли. Правда, погубила их не повышенная космическая радиация полярной орбиты, влияние которой на млекопитающих планировали выявить в миссии, а более банальные причины.

26 сентября, 11:41
ИИМК РАН

Археологи Института истории материальной культуры РАН (ИИМК РАН), при поддержке фонда «История отечества» в ходе раскопок обнаружили на всемирно известной стоянке каменного века Костенки-17 в Воронежской области редчайшие украшения из зубов песца и окаменелой раковины, а также уникальный для этого времени нуклеус из бивня мамонта для снятия заготовок.

29 сентября, 15:09
Адель Романова

Обычно выбрасываемое кометой вещество придает ей заметное ускорение. Как выяснилось, с третьим известным науке межзвездным объектом 3I/ATLAS этого практически не происходит, хотя у него есть и кома, и хвост. Астрофизики сейчас пытаются найти этому объяснение.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно