Нейронная сеть научилась генерировать видеоролики по описанию — Naked Science
Редакция
1

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

Вчера, 21:04
Мария Азарова

Ученые подтвердили связь между коронавирусной инфекцией и снижением когнитивных способностей на основе анализа данных более чем 81 тысячи человек.

Позавчера, 11:36
Ольга Иванова

Своими корнями история Армении уходит в глубокую древность и неразрывно связана с историей всего Древнего мира. Но зачастую, зная в деталях историю Рима и Древней Греции, мы в гораздо меньшей степени осведомлены о событиях, происходивших в Античное время в Армении, оказавшейся на перекрестке цивилизаций Запада и Востока. В силу многих причин она не попала в должном объеме в учебники и незнакома тем, кто интересуется историей. Попытаемся хоть немного исправить эту несправедливость.

Вчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

Вчера, 21:04
Мария Азарова

Ученые подтвердили связь между коронавирусной инфекцией и снижением когнитивных способностей на основе анализа данных более чем 81 тысячи человек.

Позавчера, 11:36
Ольга Иванова

Своими корнями история Армении уходит в глубокую древность и неразрывно связана с историей всего Древнего мира. Но зачастую, зная в деталях историю Рима и Древней Греции, мы в гораздо меньшей степени осведомлены о событиях, происходивших в Античное время в Армении, оказавшейся на перекрестке цивилизаций Запада и Востока. В силу многих причин она не попала в должном объеме в учебники и незнакома тем, кто интересуется историей. Попытаемся хоть немного исправить эту несправедливость.

13 июля
Ольга Иванова

Международная команда ученых идентифицировала ДНК из почвы в грузинской пещере. Благодаря этому исследователям удалось восстановить геном человека возрастом 25 тысяч лет, не имея никаких скелетных останков.

Вчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

8 июля
Василий Парфенов

Подросток из бельгийского города Остенде стал вторым самым юным обладателем высшего образования в обозримой истории. Он с отличием окончил курс физики в Антверпенском университете и теперь собирается защитить магистерскую степень, а затем и докторскую диссертацию в этой области. Цель у него простая и понятная: увеличение продолжительности жизни человека вплоть до полного бессмертия за счет замены частей тела и органов механическими или искусственными.

[miniorange_social_login]

Комментарии

1 Комментарий

27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: