Нейросеть «оживила» «Мону Лизу» — Naked Science
23 мая
4 минуты
alex007
971

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

СФУ
137 статей
Сибирский федеральный университет (СФУ) – крупнейший университет восточной части России. Состоит из 21 профильного института и 3 филиалов. Выполняет широкий спектр уникальных научных исследований в области биотехнологий, новых материалов, металлургии и горного дела, нанотехнологий, архитектуры и дизайна, космических и информационных технологий, математики, геномики, медицины и по многим другим направлениям. В университете действуют ведущие научные школы РФ, поддержанные грантами Президента РФ: «Дендроклиматический и дендроэкологический мониторинг лесов Северной Евразии» (руководитель – академик РАН Евгений Ваганов), «Экологическая биофизика» (руководитель – академик Иосиф Гительзон). А также научная школа профессора Августа Циха «Интегральные методы в комплексном анализе и алгебраической геометрии» и научная школа профессора Георгия Шайдурова «Радионавигационные и радиолокационные системы и устройства».
16:08
5 минут
Полина Гершберг

Подавление метаболизма глутамина истощает клетки опухолей и улучшает иммунный ответ.

10 ноября
17 минут
Редакция

Кто-то еще со школы записался в технари: «были хорошие оценки по математике», другие безнадежно махнули на себя рукой: «гуманитарий». Да только не все так просто – чистых гуманитариев и технарей в природе очень мало: всего 1­­–2%, тем более что определиться с этим не так легко, как кажется. Не говоря уже о том, что есть другие категории, например естественники.

Вчера, 13:43
1 минута
Илья Ведмеденко

Разработанный компанией Otto Aviation самолет Celera 500L, по некоторым данным, совершил первый полет.

9 ноября
4 9 минут
Александр Березин

На Западе набирает обороты очередная инициатива по массовой посадке деревьев — TeamTrees. К ней присоединился даже Илон Маск, сменив свое имя в твиттере на Трилон Маск. Считается, что массовые посадки помогут в борьбе с глобальным потеплением. Как мы покажем ниже, на самом деле, все может быть ровно наоборот.

5 ноября
19 минут
Александр Березин

Новое исследование подтвердило, что зонд «Вояджер-2» вышел из гелиосферы. Однако реальная новость вновь заслоняется выдуманной: часто пишут, будто «Вояджер-2» и «Водяжер-1» покинули Солнечную систему. Разберемся, почему это не так и что плохого в обмане длиной в 30 тысяч лет.

6 ноября
4 минуты
Никита Шевцов

Ученые со всего мира подписались под статьей, которая констатирует «климатическую катастрофу» на основе данных об изменении климата, собранных за 40 лет исследований.

17 октября
4 минуты
Илья Ведмеденко

Согласно представленным данным, вместо космического аппарата «Космос-2535» на орбите сейчас находятся пять объектов.

16 октября
3 минуты
Никита Шевцов

Биологи обнаружили вирус, который не может самостоятельно заражать клетки. Предполагается, что он пользуется помощью других вирусов.

16 октября
2 минуты
Илья Ведмеденко

Ученые сравнили состояние мозга женщин, имеющих детей, и тех, у кого их никогда не было. Выводы оказались более чем интересны.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: