Нейросеть «оживила» «Мону Лизу»
4 минуты
alex007

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 14:53
5 минут
Мария Азарова

Ученые, работающие с крупнейшим в мире радиотелескопом, сообщили об обнаружении эмиссии нейтрального водорода, исходящей от объектов за пределами нашей Галактики.

Вчера, 09:34
4 минуты
Сергей Васильев

Кажется, сходство безногих земноводных со змеями идет куда дальше внешнего вида, и эти животные способны поражать жертву ядовитым укусом.

Позавчера, 19:59
26 минут
Илья Ведмеденко

Новый БПЛА С-70 «Охотник» может стать главным российским проектом в сфере боевой авиации. Но сначала ему нужно подтвердить свою пользу.

Вчера, 14:53
5 минут
Мария Азарова

Ученые, работающие с крупнейшим в мире радиотелескопом, сообщили об обнаружении эмиссии нейтрального водорода, исходящей от объектов за пределами нашей Галактики.

Позавчера, 19:59
26 минут
Илья Ведмеденко

Новый БПЛА С-70 «Охотник» может стать главным российским проектом в сфере боевой авиации. Но сначала ему нужно подтвердить свою пользу.

Вчера, 09:34
4 минуты
Сергей Васильев

Кажется, сходство безногих земноводных со змеями идет куда дальше внешнего вида, и эти животные способны поражать жертву ядовитым укусом.

1 июля
5 минут
Мария Кривоченко

Один из детекторов Большого адронного коллайдера обнаружил новую частицу, состоящую из четырех очарованных кварков. Физики полагают, что это первый представитель неописанного класса частиц.

27 июня
8 минут
Sergei Sobol

Уроки астрономии вернулись в российские школы в 2018 году. За то время, пока эта наука была необязательным предметом, в ней произошло много событий, не все из которых нашли отражение в учебниках. Кроме того, в них и раньше не были упомянуты многие интересные факты.

1 июля
5 минут
Сергей Васильев

Точные данные о локализации центра масс Солнечной системы важны для поиска гравитационных волн, поэтому астрономы выяснили его с ошибкой не более 100 метров.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: