• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.02.2018, 06:17
Редакция Naked Science
1
526

Нейронная сеть научилась генерировать видеоролики по описанию

Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.

ai0
©Wikipedia / Автор: Telestis Scaevinius

Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.

 

Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).

 

Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.

 

Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.

 

Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
10 июля, 12:43
Илья Гриднев

Ученые использовали квантовые процессоры для расчета поведения атомов внутри жидкой соли, из которой образуется топливо для термоядерного синтеза. Модель с высокой точностью рассчитала химические связи внутри заряженной жидкости. Это поможет инженерам быстрее подобрать состав компонентов для будущих электростанций.

11 июля, 20:31
Александр Березин

Американское военное ведомство опубликовало четвертую часть материалов о неопознанных летающих объектах. Собственно новых файлов не так много: как и в прошлые разы, значительная часть опубликованного была известна ранее. Однако есть детали, которые действительно интересны и указывают на объекты, чья природа не может быть легко объяснена в рамках известного землянам на сегодняшний день.

10 июля, 09:46
Марк Чернов

Прогулки наедине с природой в абсолютной тишине существенно повышают риск опасного столкновения с дикими животными. К такому выводу пришли британские биологи, проанализировав базу данных почти 3,5 тысячи инцидентов между людьми и крупными зверями.

6 июля, 14:44
Илья Гриднев

Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.

10 июля, 08:30
Сеченовский Университет

Ученые Сеченовского Университета выявили генетические особенности, связанные с развитием разных клинических форм ювенильной склеродермии — редкого аутоиммунного заболевания, которое приводит к поражению кожи, сосудов и соединительной ткани. Исследование показало, что полиморфизм ряда генов,участвующих в патогенезе склеродермии предрасполагает к развитию разных клинических форм болезни. В перспективе эти данные могут позволить точнее прогнозировать течение заболевания и подбирать терапию индивидуально.

7 июля, 08:30
ПНИПУ

Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.

25 июня, 16:20
Любовь С.

Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.

25 июня, 15:09
Марк Чернов

Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.

26 июня, 14:54
Максим Абдулаев

Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.

[miniorange_social_login]

Комментарии

1 Комментарий
bezgolosye
27.02.2018
-
0
+
Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов)) жду недождусь Сценарий: "Твоя-моя ДНК" ИНТ. РЕСТОРАН. ЗАЛ. Данила сидит в углу, за столиком, одетый в плащ, широкополую шляпу, которая бросает густую тень на лицо. На его руках резиновые перчатки. Миша ставит на стол выпивку, но Данила переливает пиво в бумажный стакан, принесенный с собой. t.me/ bezgolosye