• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.02.2018
Редакция Naked Science
1
335

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
14 мая
Василий Парфенов

Космическую компанию Илона Маска в шутку иногда называют пиротехнической — так часто ее изделия взрываются во время испытаний. Пара свежих инцидентов на тестовом полигоне в городе Макгрегор лишь подтверждают эту славу. Не успели фанаты космонавтики наладить онлайн-трансляцию из этой локации, как запечатлели сразу два взрыва подряд с промежутком всего в десятки часов.

5 часов назад
Мария Азарова

Польские исследователи впервые продемонстрировали, как три чистых нитрофенола — или их смесь, образующаяся в том числе при приготовлении шашлыка — влияют на клетки легких человека.

Вчера, 17:43
Анна Новиковская

Новый вид неядовитых змей обнаружили в Парагвае: он обитает на небольшой территории и уже находится на грани полного исчезновения. Словно бы желая «заклясть судьбу», ученые назвали змею в честь двух детей, чтобы напомнить и самим себе, и всему миру, что усилия по сохранению дикой природы Парагвая призваны дать потомкам возможность жить в лучшем мире.

14 мая
Василий Парфенов

Космическую компанию Илона Маска в шутку иногда называют пиротехнической — так часто ее изделия взрываются во время испытаний. Пара свежих инцидентов на тестовом полигоне в городе Макгрегор лишь подтверждают эту славу. Не успели фанаты космонавтики наладить онлайн-трансляцию из этой локации, как запечатлели сразу два взрыва подряд с промежутком всего в десятки часов.

12 мая
Мария Азарова

Авторы нового исследования проверяли, насколько выполнение второстепенного задания влияет на аргументы, которые выдвигали люди, говорящие правду или неправду.

13 мая
Алиса Гаджиева

Один из самых археологически изученных ландшафтов в мире до сих преподносит сюрпризы.

21 апреля
Александр Березин

Местные чиновники пытаются переложить ответственность за случившееся на резкое уменьшение турпотока из-за коронавируса, но цифры показывают, что ключевая проблема совсем в другом. В 2019 году на выборах в этой стране победил президент — сторонник модных зеленых идей. Вскоре там запретили продажу минеральных удобрений и двинулись к «устойчивому сельскому хозяйству». Как именно популярные «органические» идеи повлияли на еще не так давно быстро растущую местную экономику? И почему уроки шри-ланкийской трагедии могут пригодиться даже Западу и России?

26 апреля
Василий Парфенов

Крупнейшие патентные ведомства мира десятилетиями или веками принципиально игнорируют любые конструкции, нарушающие начала термодинамики. С точки зрения здравого смысла это хорошо, но конспирологи и гении-самоучки считают иначе. По их мнению, такая политика стала результатом заговора (подставьте сюда любое вымышленное или не очень секретное общество либо лобби). Что ж, похоже, Роспатент встал на их сторону.

27 апреля
Александра Медведева

С помощью GPS-трекинга ученые проследили за перемещениями целой популяции домашних кошек в небольшом норвежском городке. Оказалось, питомцы редко уходят от дома далее 50 метров и почти не совершают длительных прогулок.

[miniorange_social_login]

Комментарии

1 Комментарий

27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: