• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
23.05.2019
alex007
16 250

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia / Автор: Андрей Чернов

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 11:00
НИУ ВШЭ

Северный Кавказ играл ключевую роль в древней колонизации Евразии и формировании ее культурного и генетического наследия, однако до сих пор не до конца изучена генетическая история носителей местных культур. Ученые впервые провели глубокое секвенирование древней ДНК представителей кобанской культуры, сформировавшейся в позднем бронзовом веке на Северном Кавказе, и сравнили ее с генетическими данными современных народов Кавказа. Результаты работы подтвердили роль носителей кобанской культуры как древнего генетического моста между бронзовым и железным веками на Северном Кавказе.

Позавчера, 16:54
Ольга Иванова

Американские исследователи пришли к выводу: тихоходки способны повышать уровень продуктов генов репарации ДНК до такой степени, что это позволяет сделать их одними из самых распространенных в своем геноме. Среди прочего это помогает им выдерживать экстремальную радиацию.

Вчера, 11:48
Игорь Байдов

Во время лабораторного эксперимента канадские биологи проявили неосторожность, благодаря чему узнали, что шмели куда менее уязвимы к экстремальным погодным условиям и более выносливы, чем считалось ранее.

Позавчера, 16:54
Ольга Иванова

Американские исследователи пришли к выводу: тихоходки способны повышать уровень продуктов генов репарации ДНК до такой степени, что это позволяет сделать их одними из самых распространенных в своем геноме. Среди прочего это помогает им выдерживать экстремальную радиацию.

Вчера, 11:00
НИУ ВШЭ

Северный Кавказ играл ключевую роль в древней колонизации Евразии и формировании ее культурного и генетического наследия, однако до сих пор не до конца изучена генетическая история носителей местных культур. Ученые впервые провели глубокое секвенирование древней ДНК представителей кобанской культуры, сформировавшейся в позднем бронзовом веке на Северном Кавказе, и сравнили ее с генетическими данными современных народов Кавказа. Результаты работы подтвердили роль носителей кобанской культуры как древнего генетического моста между бронзовым и железным веками на Северном Кавказе.

Вчера, 11:48
Игорь Байдов

Во время лабораторного эксперимента канадские биологи проявили неосторожность, благодаря чему узнали, что шмели куда менее уязвимы к экстремальным погодным условиям и более выносливы, чем считалось ранее.

8 апреля
Василий Парфенов

Режим работы, количество трудовых часов в неделю и экономическую стабильность профессии прочно ассоциируют с благополучием человека. Количественно и качественно определить эти взаимосвязи получается редко — нужны большие выборки респондентов и длительное время наблюдений. Автор новой научной работы использовал долговременное исследование более чем семи тысяч американцев, чтобы выявить основные эффекты паттернов трудовой деятельности на психическое и физическое здоровье работающих людей.

28 марта
Игорь Байдов

Американская компания JetZero, которая обещает произвести фурор в гражданской авиации, получила сертификат летной годности на испытания уменьшенной копии разрабатываемого ею сверхэффективного реактивного авиалайнера со «смешанным крылом». Предстоящая программа летных испытаний будет направлена на оценку летно-технических характеристик самолета, его устойчивости и управляемости.

21 марта
Дарья Г.

По спектральным данным от «Джеймса Уэбба» и результатам компьютерного моделирования атмосферы астрономы показали, что экзопланета LHS 1140 b — мир-океан. Причем по характеристикам это лучший на сегодня потенциально обитаемый мир, подходящий для пристального изучения.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: