Нейросеть «оживила» «Мону Лизу» — Naked Science
23.05.2019
4 минуты
alex007
1378

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

Вчера, 12:35
7 минут
ФизТех

Российские ученые из МФТИ, ФТИАН и ИТМО создали нейросеть, которая научилась предсказывать поведение квантовой системы, «взглянув» на ее схему. Такая нейросеть самостоятельно находит те решения, которые хорошо подходят для демонстрации квантовых преимуществ. Это поможет исследователям разрабатывать эффективные квантовые компьютеры.

Сегодня, 12:24
7 минут
ТГУ

Старший научный сотрудник лаборатории «Гербарий» БИ ТГУ Вера Костикова совместно с новосибирскими коллегами выявила ценные лекарственные свойства у спиреи – кустарника, используемого в озеленении городов и дачных участков. Фитохимическое исследование показало, что растение обладает противовирусной и антиоксидантной активностью, что делает его перспективным для использования в медицине.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

11 января
23 минуты
Редакция

Если вы думаете, что вам несвойственны предрассудки, значит, наверняка им-то вы и подвержены. Если думаете, что когнитивные искажения (то есть систематические ошибки в мышлении) это не про вас, следовательно, в вас сидит одно из таких искажений – под названием «наивный реализм»: склонность воспринимать свое мнение как объективное, а мнение других – как полное когнитивных искажений. Какие же ошибки мышления бывают? Их очень много – психологи выделяют больше сотни. Мы расскажем о самых интересных и наиболее распространенных.

13 января
7 минут
Сергей Васильев

Прямые улицы неолитических деревень Центральной Европы неизменно слегка поворачивают налево: ученые связывают это с особенностями работы человеческого зрения, о которых не подозревали строители каменного века.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

20.12.2019
24 минуты
Ольга Иванова

На самом деле, на логотипе этих гаджетов вовсе не яблоко, а контаминация знаков птицы и огня. Потому что символ компании VinSmart, входящей в корпорацию VinGroup, — энергия, устремленная ввысь. Это настоящее вьетнамское чудо, выросшее на продаже лапши быстрого приготовления, а теперь имеющее сеть супермаркетов, отелей, школ, производящее автомобили, кондиционеры, телевизоры, электроскутеры, умные дома и смартфоны для местного населения. Впрочем, не только для местного — гаджеты от VinGroup уже вышли на российский рынок. Naked Science побывал на заводе во Вьетнаме и узнал все о том, как их делают.

7 января
44 минуты
Александр Березин

Вашингтон и Тегеран близки к войне как никогда за последние годы. Но, скорее всего, США не пойдут дальше ограниченных ударов. Слишком уж неприятные последствия имели предшествующие силовые операции Штатов в Иране. Попробуем разобраться, что именно их остановит на этот раз.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: