Нейросеть «оживила» «Мону Лизу»
4 минуты
alex007

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
31 марта
8 минут
Полина Гершберг

Массовая противотуберкулезная вакцинация может объяснить пониженную смертность от коронавируса в некоторых странах. Впрочем, из этого правила есть исключения, которые ученые пока не выяснили. Кроме того, не известны биохимические механизмы такой защиты.

30 марта
6 минут
Полина Гершберг

Ученый, ранее заявивший об эффективности этого метода лечения коронавирусной инфекции, опубликовал ошеломительные данные по числу людей, вылечившихся с помощью такого средства.

31 марта
6 минут
Мария Азарова

Согласно новому исследованию, относительная влажность воздуха от 40 до 60 процентов в помещении способна затруднить трансмиссию SARS-CoV-2. Однако ученые предупреждают, что вирус все еще может передаваться контактным путем и сохраняется на поверхностях предметов.

31 марта
8 минут
Полина Гершберг

Массовая противотуберкулезная вакцинация может объяснить пониженную смертность от коронавируса в некоторых странах. Впрочем, из этого правила есть исключения, которые ученые пока не выяснили. Кроме того, не известны биохимические механизмы такой защиты.

28 марта
5 минут
Полина Гершберг

Препарат, созданный на основе противомалярийного средства, может помочь безболезненно пройти пик пандемии Covid-19 в России.

26 марта
2 минуты
Илья Ведмеденко

Транспортный самолет Ан-225 «Мрия» совершил первый полет после ремонта и модернизации, продолжавшихся с 2018 года.

10 марта
5 минут
Сергей Васильев

Новый анализ образцов лунного грунта показал, что под поверхностью спутника могут скрываться остатки древней планеты Тейя, столкновение которой с Землей и привело к появлению спутника.

10 марта
2 минуты
Илья Ведмеденко

Принадлежащие норвежским ВВС американские истребители пятого поколения использовали для перехвата российских боевых самолетов — Ту-142 и МиГ-31.

13 марта
38 минут
Александр Березин

С начала марта 2020 года по социальным сетям распространяется одна и та же мысль: в России полным-полно больных Covid-19, просто власти занижают медицинскую статистику «на много порядков». Больные гриппом и ОРВИ, считают сторонники этой точки зрения, на самом деле, страдают от коронавируса. Смерти от него тоже «оформят» под грипп и обычную пневмонию. Более того, сходными фальсификациями пытаются объяснить и почти полную победу над эпидемией в Китае. Версия, согласимся, красочная, будоражит воображение. Проверим, совместима ли она с реальностью.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: