Нейронная сеть научилась генерировать видеоролики по описанию — Naked Science
4 минуты
Редакция
1

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сегодня, 11:44
2 минуты
Илья Ведмеденко

Сегодня, в 13:15 (мск), NASA начнет трансляцию исторического события: первого полета вертолета Ingenuity, доставленного на Марс вместе с планетоходом Perseverance. Посмотреть трансляцию можно на нашем сайте.

Позавчера, 21:00
7 минут
Василий Парфенов

Уже этой осенью в путешествие отправится крупнейший из созданных человеком космических телескопов — JWST. Он не только сменит на «посту» стремительно устаревающего «Хаббла», но и существенно раздвинет границы нашего понимания Вселенной. Американские астрономы с помощью моделирования показали, насколько быстро этот научный инструмент сможет обнаружить биосигнатуры в атмосферах планет у других звезд.

9 часов назад
9 минут
Александр Березин

Судя по отсутствию человека на водительском сиденье, машиной управлял автопилот. В теории он отслеживает наличие человека за рулем и без него не едет. Но на практике человек всегда может обмануть компьютер. Неспособность компьютера контролировать человека в описываемом случае привела к печальным последствиям. Несмотря на это, по последним данным, автопилот Tesla снижает риск попасть в аварию в девять раз. Впрочем, с одним нюансом.

16 апреля
4 минуты
Илья Ведмеденко

Исследователи установили, что обнаруженный в Баренцевом море объект — погибшая советская субмарина типа «Крейсерская». Это одна из самых больших подлодок СССР периода Второй мировой.

16 апреля
8 минут
Александр Березин

Исследователь из Гарварда проанализировал вероятность полного оледенения всей поверхности — включая экватор — для планет земного типа. Оказалось, это частый сценарий. И он может быть причиной уничтожения всей сложной жизни. Работа показывает неожиданную уязвимость нашей планеты для такого хода событий. По расчетам, в последние 20 тысяч лет Земля прошла буквально в нескольких градусах от полного и постоянного оледенения, исключающего выживание крупных наземных многоклеточных.

Позавчера, 21:00
7 минут
Василий Парфенов

Уже этой осенью в путешествие отправится крупнейший из созданных человеком космических телескопов — JWST. Он не только сменит на «посту» стремительно устаревающего «Хаббла», но и существенно раздвинет границы нашего понимания Вселенной. Американские астрономы с помощью моделирования показали, насколько быстро этот научный инструмент сможет обнаружить биосигнатуры в атмосферах планет у других звезд.

25 марта
36 минут
Александр Березин

Улыбающийся мультимиллиардер планирует понять, насколько эффективно мел в стратосфере защищает планету от солнечного света, и если результат хорош, распылить его там в гигантских количествах. Потенциально это результативная задумка: ученые давно показали, что так можно добиться полного покрытия Земли устойчивыми льдами — вплоть до экватора. Увы, идея Гейтса — плагиат, причем не лучший. Советский исследователь предложил похожее полвека назад с более эффективной серой. Интереснее другое: подобные мероприятия один раз едва не уничтожили человечество. Разбираемся в деталях, а также в том, грозит ли нам повторение.

31 марта
51 минута
Александр Березин

Самый зловещий оружейный проект всех времен и народов — термоядерная торпеда, предназначенная для радиационного поражения огромных площадей и создания искусственного цунами. Никогда до этого ни одна страна даже не заявляла о намерении сделать нечто настолько опасное для живых существ. Поэтому российский проект «Посейдон», обещающий именно это, вызывает бурю эмоций. Однако тщательный технический анализ показывает: в реальности он будет совсем не таким, как об этом пишут в СМИ. Даже если он предназначен для радиационного поражения обширных площадей, оно не будет долгим. А уже через год «омытые» им районы будут абсолютно безопасны. Тем не менее новая система действительно изменит стратегический баланс на планете — но не так, как все думают. Попробуем разобраться в ситуации подробнее.

26 марта
12 минут
Василий Парфенов

Похоже, история с американскими военными и «неопознанными воздушными феноменами» только набирает обороты. Новое расследование раскрыло многократные встречи нескольких кораблей Военно-морского флота Соединенных Штатов с аномально ведущими себя летательными аппаратами. Причем происходило это вне пределов досягаемости для любого коммерческого дрона или иного известного компактного БПЛА.

[miniorange_social_login]

Комментарии

1 Комментарий

27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: