Нейросеть «оживила» «Мону Лизу»
Алгоритм на основе всего восьми кадров способен превратить портрет в движущееся изображение.
Российские разработчики из «Сколково» и Samsung представили статью, препринт которой доступен на сайте arXiv.org, и продемонстрировали в ней алгоритм, способный превращать статичные портреты в короткие видео. При этом система может работать на основе небольшого количества кадров.
Исследователи в области искусственного интеллекта уже научили алгоритм переносить информацию с одного изображения на другое. Сложность этого процесса в том, что для него необходимо большое количество исходных данных. Сотрудники Университета Карнеги — Меллона, к примеру, перенесли речь телеведущего Джона Оливера на видеоклип с ведущим вечернего шоу Стивеном Колбертом. Сделать то же самое на основе 16, восьми или даже одного кадра до этого момента никому не удавалось. Авторы из «Сколково» смогли добиться этого при помощи алгоритма на основе сверточной нейросети.
В него входит три нейросети — Embedder, Generator и Discriminator, — которые прошли метаобучение. То есть алгоритм обучен на основе массива кадров с лицами людей. На каждое лицо накладывается маска, учитывающая границы лица и мимику. Первая нейросеть хранит информацию в виде векторов. Вторая через набор сверточных слоев использует маску, чтобы наложить ее на изображение человека. Третья выступает в качестве рецензента, который оценивает реалистичность получившегося результата.
Эта система позволила разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра. При этом чем больше кадров доступно алгоритму, тем более правдоподобным получается результат. Возможности системы авторы продемонстрировали на фотографиях Мэрилин Монро и Альберта Эйнштейна. Однако она работает не только на портретах знаменитостей, но и на картинах, написанных художниками. Эту способность продемонстрировали на примере «Моны Лизы» и «Девушки с жемчужной сережкой».
Сейчас на анимированных изображениях все еще присутствует множество артефактов, а на некоторых сразу заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.
Ранее представители Nvidia продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение. Нейросеть назвали GauGAN.
Кит живет двести лет, умеет пробивать головой полуметровый лед и поет океанский джаз голосом несмазанной дверной петли. Охотоморские гренландские киты — это не просто многотонные ледоколы. Это древние узники, которые остались жить в Охотском море со времен последнего оледенения. Это счастливцы, которые смогли пережить гарпуны китобоев XIX-XX веков, но сегодня уязвимы не меньше. Чтобы спасти этих поразительных китов, российским ученым и команде фонда «Природа и люди» приходится: считать хвосты, читать биографии по шрамам, прятать подростков от хищников, стрелять (спутниковыми метками) с парамоторов и тяжелых дронов. Рассказываем, как устроена жизнь гренландских китов России и кто помогает им не исчезнуть навсегда с лица планеты.
Деревья растут и люди стареют не потому, что идет время, а из-за происходящих внутри них процессов. Но можно ли сказать, что именно эти процессы порождают время? Ученый создал маленькую Вселенную, в которой дела обстоят именно так.
Долгое время считалось, что люди, которые увлечены просмотром видео для взрослых, чаще жалуются на симптомы депрессии. Однако новое лонгитюдное исследование с участием почти 3000 человек показало: эта связь значительнее сложнее, чем предполагали.
Ученые выяснили, почему интервальное голодание для многих оказывается эффективнее обычных диет. Исследование показало, что ограничение времени для приема пищи избавляет худеющего от изнуряющего ощущения жесткого контроля и при этом позволяет сбросить ровно столько же, сколько при скрупулезном подсчете калорий.
Кит живет двести лет, умеет пробивать головой полуметровый лед и поет океанский джаз голосом несмазанной дверной петли. Охотоморские гренландские киты — это не просто многотонные ледоколы. Это древние узники, которые остались жить в Охотском море со времен последнего оледенения. Это счастливцы, которые смогли пережить гарпуны китобоев XIX-XX веков, но сегодня уязвимы не меньше. Чтобы спасти этих поразительных китов, российским ученым и команде фонда «Природа и люди» приходится: считать хвосты, читать биографии по шрамам, прятать подростков от хищников, стрелять (спутниковыми метками) с парамоторов и тяжелых дронов. Рассказываем, как устроена жизнь гренландских китов России и кто помогает им не исчезнуть навсегда с лица планеты.
Деревья растут и люди стареют не потому, что идет время, а из-за происходящих внутри них процессов. Но можно ли сказать, что именно эти процессы порождают время? Ученый создал маленькую Вселенную, в которой дела обстоят именно так.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно

Последние комментарии