Нейросеть «оживила» «Мону Лизу» — Naked Science
4 минуты
alex007

Нейросеть «оживила» «Мону Лизу»

Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.

35
©Wikipedia

Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.

 

Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети. 

 

В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.

 

©Egor Zakharov

 

Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».

 

©Egor Zakharov

 

Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.

 

Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
26 февраля
10 минут
Василий Парфенов

Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.

11 часов назад
75 минут
Редакция

Наверное, еще с того момента, как первые наши прапрапредки обрели сознание, человек боялся смерти и искал пути ее предотвратить или отсрочить. Древний человек жаждал утешения в представлениях о загробном мире, позже алхимики пытались изобрести зелья, которые помогли бы достичь бессмертия. С развитием науки ученые стремились понять, как работает наша смертность на клеточном уровне и еще глубже – и можно ли серьезно изменить отмеренный человеку век. Именно о теломерах часто говорят как о некоем секрете долголетия, том самом волшебном рычаге в ДНК, который может прибавить один-два десятка лет к нашей жизни. Так ли это?

26 февраля
8 минут
Мария Азарова

Математическое моделирование позволило подсчитать, что большинство случаев тяжелого течения коронавирусного заболевания и госпитализаций по этой причине в США оказались связаны с одним из четырех кардиометаболических нарушений, а главным образом — с ожирением.

26 февраля
10 минут
Василий Парфенов

Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.

11 часов назад
75 минут
Редакция

Наверное, еще с того момента, как первые наши прапрапредки обрели сознание, человек боялся смерти и искал пути ее предотвратить или отсрочить. Древний человек жаждал утешения в представлениях о загробном мире, позже алхимики пытались изобрести зелья, которые помогли бы достичь бессмертия. С развитием науки ученые стремились понять, как работает наша смертность на клеточном уровне и еще глубже – и можно ли серьезно изменить отмеренный человеку век. Именно о теломерах часто говорят как о некоем секрете долголетия, том самом волшебном рычаге в ДНК, который может прибавить один-два десятка лет к нашей жизни. Так ли это?

26 февраля
8 минут
Мария Азарова

Математическое моделирование позволило подсчитать, что большинство случаев тяжелого течения коронавирусного заболевания и госпитализаций по этой причине в США оказались связаны с одним из четырех кардиометаболических нарушений, а главным образом — с ожирением.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

2 февраля
44 минуты
Александр Березин

В научном журнале The Lancet появились итоги клинических испытаний «Спутника-V», и на первый взгляд эта публикация — триумф. Российская вакцина показала эффективность выше, чем у Pfizer и Moderna. Увы, на этом хорошие новости закончились. Плохих две.

26 февраля
10 минут
Василий Парфенов

Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: