Нейросеть «оживила» «Мону Лизу» — Naked Science
4 минуты
alex007

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
30 сентября
2 минуты
Илья Ведмеденко

Новейший истребитель пятого поколения F-35B, принадлежащий Корпусу морской пехоты США, потерпел крушение в Южной Калифорнии. Летчик успешно катапультировался.

29 сентября
10 минут
Мария Азарова

Помимо этого, удалось выяснить, как это извержение происходило и какую роль сыграло в развитии майяской цивилизации.

30 сентября
4 минуты
Мария Азарова

По заказу Лувра «Портрет госпожи Лизы дель Джокондо» оцифровали с помощью мультиспектральной камеры высокого разрешения. В итоге ученым удалось предположить, что помогало Леонардо да Винчи при создании этой картины.

28 сентября
29 минут
Александр Березин

Сентябрь 2020 года принес в Закавказье войну — столкновение Азербайджана и Нагорного Карабаха получило большой размах, общее число жертв, судя по всему, уже перевалило за сотню, а Ереван и Баку объявили мобилизацию (в Азербайджане — частичную). Объективного смысла в войне для самих участников нет. Баку не победит, но и Армения от конфликта ничего не выиграет. Пользу конфликт, однако, объективно принесет Турции, а также тем, кто поставляет в Азербайджан оружие. Возникает вопрос: почему война оказалась возможна, несмотря на дружественную позицию России к Армении, и зачем на нее пошли в Баку? И есть ли у Еревана разумный выход из назревающей бойни?

30 сентября
2 минуты
Илья Ведмеденко

Новейший истребитель пятого поколения F-35B, принадлежащий Корпусу морской пехоты США, потерпел крушение в Южной Калифорнии. Летчик успешно катапультировался.

25 сентября
10 минут
Мария Азарова

По словам авторов эксперимента, им удалось выявить у черных ворон важный маркер сознания — способности субъективно переживать события внешнего мира и собственной жизни.

28 сентября
29 минут
Александр Березин

Сентябрь 2020 года принес в Закавказье войну — столкновение Азербайджана и Нагорного Карабаха получило большой размах, общее число жертв, судя по всему, уже перевалило за сотню, а Ереван и Баку объявили мобилизацию (в Азербайджане — частичную). Объективного смысла в войне для самих участников нет. Баку не победит, но и Армения от конфликта ничего не выиграет. Пользу конфликт, однако, объективно принесет Турции, а также тем, кто поставляет в Азербайджан оружие. Возникает вопрос: почему война оказалась возможна, несмотря на дружественную позицию России к Армении, и зачем на нее пошли в Баку? И есть ли у Еревана разумный выход из назревающей бойни?

13 сентября
37 минут
Александр Березин

640 лет назад завершилось крупнейшее сражение средневековой Европы — битва на Куликовом поле. В конце XX века ряд историков заявил: это была мелкая незначительная стычка, а вовсе не масштабное событие, запустившее формирование единого русского государства. По их мнению, ни о какой борьбе Москвы с Золотой Ордой в этом сражении просто не могла идти речь: места на поле боя недостаточно. Получается, события, описанные в летописях, были почти полной выдумкой. Однако теперь ситуация вдруг развернулась на 180 градусов: оказалось, место сражения действительно лежит в Тульской области… но совсем на другом поле. И это заметно меняет всю историю Руси того времени. Попробуем разобраться почему.

7 сентября
5 минут
Илья Ведмеденко

Недавно запущенный китайский потенциально многоразовый космический аппарат вернулся домой. Как стало известно, перед этим от него отсоединился некий объект, предназначение которого неизвестно.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: