• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.02.2018, 06:17
Редакция Naked Science
1
522

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia / Автор: Telestis Scaevinius

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
1 мая, 11:34
Понамарева Валерия

Долгое время считалось, что гигантские стрекозообразные, жившие 300 миллионов лет назад, стали такими из‑за высокого содержания кислорода. Тогда в атмосфере его было около 30% вместо сегодняшних 21%. Учёные полагали, что крупные насекомые задохнулись бы в нашей атмосфере. Но оказалось, что это не так.

29 апреля, 13:04
Александр Березин

Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.

29 апреля, 14:23
Игорь Байдов

Ученые, похоже, приблизились к разгадке происхождения пшеницы мягкой — той самой, из которой делают большую часть хлеба и другие мучные изделия. Согласно авторам нового исследования, она, предположительно, появилась 8000 лет назад на территории современной Грузии и Армении.

29 апреля, 13:04
Александр Березин

Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.

27 апреля, 16:43
Александр Березин

Поставщик элементов окололунной станции попытался сдать клиентам изделия, подвергшиеся коррозии еще до начала его монтажа. Об этом заявил новый глава NASA Джаред Айзекман. Защищая свою позицию, поставщик сообщил, что ранее он поставлял модули с коррозией для МКС, но они все равно до сих пор работают. NASA использует скандал для отказа от алогичного проекта Lunar Gateway, обитаемой космической станции на окололунной орбите.

29 апреля, 14:23
Игорь Байдов

Ученые, похоже, приблизились к разгадке происхождения пшеницы мягкой — той самой, из которой делают большую часть хлеба и другие мучные изделия. Согласно авторам нового исследования, она, предположительно, появилась 8000 лет назад на территории современной Грузии и Армении.

23 апреля, 18:34
Александр Березин

В последнее время пуски с российских северных космодромов осуществляют без предварительного уведомления, чего не было в прошлом. Вероятно, дело в недавно упомянутых главой «Роскосмоса» атаках на Плесецк во время пуска. Сегодняшний запуск обеспечил вывод на орбиту космических аппаратов военного назначения.

10 апреля, 10:51
Татьяна Зайцева

Когда международная экспедиционная группа, исследующая море Уэдделла в Антарктиде на борту ледокола «Поларштерн», попыталась укрыться от шторма, ученые и экипаж судна удивились внезапному появлению острова, не обозначенного ни на одной морской карте.

9 апреля, 08:30
Максим Абдулаев

Окаменелые остатки рептилии возрастом 289 миллионов лет сохранили полное анатомическое устройство грудной клетки ранних покорителей суши. Благодаря нетронутым хрящам исследователи реконструировали механику первого полноценного реберного дыхания. Наличие в тканях оригинальных белков подтвердило, что сложные органические молекулы способны сохраняться в палеонтологической летописи почти на 100 миллионов лет дольше, чем считалось.

[miniorange_social_login]

Комментарии

1 Комментарий
bezgolosye
27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Комментарий на проверке

Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Авторизуясь, вы даете согласие на обработку персональных данных и подтверждаете ознакомление с Политикой.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно