• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.02.2018
Редакция Naked Science
1
436

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 12:58
Алиса Гаджиева

В Северной Ирландии нашли неолитическое поселение возрастом не менее 5800 лет. Пока не ясно, почему люди обосновались именно там, но известно, что спустя тысячелетия за эти земли воевали могущественные королевства.

Вчера, 07:30
Мария Азарова

Авторы нового исследования провели эксперимент почти с 70 собаками разных пород, чтобы узнать, как они реагируют на вой одного волка и целой стаи.

Позавчера, 07:07
Мария Азарова

Согласно выводам авторов нового исследования, прием витамина D коррелирует с более низкой вероятностью того, что взрослый мужчина предпримет попытку суицида или членовредительства.

2 февраля
НИУ ВШЭ

Изучая потребление алкоголя, экономисты и социологи обычно связывают его с условиями жизни людей и их человеческим капиталом: образованием, опытом работы, знаниями. Ученые из Лаборатории исследований рынка труда и Лаборатории экономико-социологических исследований НИУ ВШЭ обратили внимание на некогнитивные навыки, формирующиеся в детстве и подростковом возрасте, и выяснили, что эти качества во многом определяют вероятность злоупотребления спиртным и сокращают степень влияния образования.

Вчера, 07:30
Мария Азарова

Авторы нового исследования провели эксперимент почти с 70 собаками разных пород, чтобы узнать, как они реагируют на вой одного волка и целой стаи.

3 февраля
Василий Парфенов

«Недостаточно комковатая» — так описал обнаруженную аномалию один из авторов нового исследования. В нем на основе наблюдений сразу двух обсерваторий, работающих с разными диапазонами излучений, удалось создать карту распределения материи во Вселенной с беспрецедентной точностью. Благодаря этому выяснилось, что стандартная модель — главная современная теория мироустройства, описывающая все частицы, поля и взаимодействия, кроме гравитации — имеет все шансы быть неполной.

10 января
Алиса Гаджиева

Исследователи, изучающие систему обороны Великой стены, обнаружили следы более 130 секретных сквозных проходов и полагают, что это только начало.

25 января
Василий Парфенов

Пока фанаты SpaceX увлеченно следят за достижениями компании, астрономы грустно наблюдают, как их работа становится сложнее с каждым запуском спутников Starlink. Прогресс не проходит без жертв. Поэтому различные научные ассоциации ищут способы снизить негативное влияние множества новых рукотворных объектов в околоземном пространстве на качество данных, получаемых телескопами. Некоторые решения со стороны выглядят экстремальными — например, теперь лазеры для корректировки адаптивной оптики можно не выключать, если в поле зрения есть спутник Starlink. А это десятки ватт излучения!

9 января
Александр Березин

Избыточный вес убивает куда больше людей, чем войны с голодом вместе. До самых недавних пор это объясняли то «мусорным» фастудным питанием, то недостаточными физическими нагрузками. Научные работы показывают: эти гипотезы были неверны. За последние полвека сильно потолстели даже лабораторные животные, корм и нагрузки которых не менялись. Эпидемия лишнего веса действительно убийственна, но ее причина не в калориях или нехватке нагрузки. А в чем же? Naked Science исследует для вас этот вопрос.

[miniorange_social_login]

Комментарии

1 Комментарий

27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: