Нейронная сеть научилась генерировать видеоролики по описанию
4 минуты
Редакция
1

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 09:33
4 минуты
Сергей Васильев

Одна из самых больших черных дыр обладает соответствующим аппетитом: имея массу около 34 миллиардов масс Солнца, она добавляет еще по одной каждый день.

Позавчера, 12:50
6 минут
Денис Гордеев

Точной причины мора ученые пока не знают. Возможно, дело в новом патогене, еще не известном науке.

Вчера, 20:18
6 минут
Мария Кривоченко

Ученые давно догадывались, что животные предчувствуют землетрясения. Но до сих пор доказать это не получалось: одних наблюдений за тем, как их поведение меняется перед катаклизмом, не хватало. Группа европейских исследователей, наконец, смогла объяснить этот феномен.

1 июля
5 минут
Мария Кривоченко

Один из детекторов Большого адронного коллайдера обнаружил новую частицу, состоящую из четырех очарованных кварков. Физики полагают, что это первый представитель неописанного класса частиц.

1 июля
5 минут
Сергей Васильев

Точные данные о локализации центра масс Солнечной системы важны для поиска гравитационных волн, поэтому астрономы выяснили его с ошибкой не более 100 метров.

29 июня
7 минут
Мария Кривоченко

Группа астрономов из проекта RedDots обнаружила две суперземли и планету-кандидата, вращающиеся вокруг красного карлика Lacaille 9352. Ее звездная система одна из самых близких к Солнцу. Открытые планеты находятся в обитаемой зоне, и авторы исследования считают, что они могут быть вполне пригодны для жизни.

27 июня
8 минут
Sergei Sobol

Уроки астрономии вернулись в российские школы в 2018 году. За то время, пока эта наука была необязательным предметом, в ней произошло много событий, не все из которых нашли отражение в учебниках. Кроме того, в них и раньше не были упомянуты многие интересные факты.

1 июля
5 минут
Мария Кривоченко

Один из детекторов Большого адронного коллайдера обнаружил новую частицу, состоящую из четырех очарованных кварков. Физики полагают, что это первый представитель неописанного класса частиц.

18 июня
9 минут
Sergei Sobol

Россия знала многих правителей. Сможете ли вы распознать их по следу, оставленному в истории?

[miniorange_social_login]

Комментарии

1 Комментарий

bezgolosye
27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: