Нейронная сеть научилась генерировать видеоролики по описанию
Искусственный интеллект создает ролики по сценарию – пока что короткие и размытые, но когда-нибудь он один заменит целую киностудию.
Нейросети уже совсем неплохо (а во многих случаях и лучше людей) справляются с распознаванием образов на картинке и способны в общих чертах описать целые сценки. Генеративные нейросети совершают обратное преобразование и могут формировать изображение исходя из его описания, или предугадать следующий кадр исходя из предыдущих.
Бельгийские разработчики пошли еще дальше, соединив эти способности в единую систему, которая создает видеоролики «из ничего», на основе собственного опыта машинного обучения и текста сценария. Об этом Тинне Туйтелаарс (Tinne Tuytelaars) рассказала на прошедшей в США встрече Ассоциации по продвижению искусственного интеллекта (AAAI).
Нейросеть работает в два этапа – по словам Тинне, как бы имитируя творческий процесс человека: на первом этапе формируется размытый, приблизительный «эскиз» каждого кадра, после чего уточняются и добавляются детали. Одной из важных частей такой системы стала дискриминаторная нейросеть, которая сравнивает результат с «настоящими» видеороликами, подходящими под заданный сценарий, и позволяет оценить его качество, совершенствуя работу генеративной части системы.
Нейросеть была обучена на 10 сценах («игра в гольф на траве», «кайтсерфинг в море» и т. п.) и научилась разделять действия и обстоятельства одно от другого, а также могла комбинировать их любым заданным образом, создавая ролики, например про «гольф в бассейне» или «плавание (под парусом) по снегу». Конечно, качество таких анимаций пока далеко от приемлемого: «ролики» продолжительностью около секунды состоят всего из 32 кадров размерами 64х64 пикселя.
Но с той же уверенностью можно гарантировать, что эти цифры будут быстро улучшаться, ведь не так давно и сам кинематограф мог похвастаться лишь мутной, дергающейся и немой картинкой. Если такую нейросеть удастся сделать по-настоящему быстрой и эффективной, Голливуду, возможно, придет конец: достаточно будет взять сценарий – и фильм готов. Пригодится такая возможность и в генерации больших наборов для обучения других нейросетей, и в создании новых алгоритмов сжатия и передачи потокового видео.
Telegram 
Дзен 
VK Паразитические организмы иногда не учитывают, что сами могут оказаться целью паразита более высокого уровня. Сосредотачивая все свои силы на инфицировании и размножении, они остаются беззащитными перед агрессивным специализированным нахлебником.
Интригующие испытания высотного ракетного двигателя Raptor Vacuum для корабля Starship, верхней ступени сверхракеты Илона Маска, парадоксальны. Его работа на уровне моря уже сама по себе загадка. Ведь, по классическим представлениям, высотные двигатели на уровне моря корректно не работают. А сопло RaptorVAC на наземном стенде извергает реактивную струю без всяких признаков нарушения работы. Как такое может быть?
Планетологи обнаружили на поверхностях Титана и Плутона схожую полосу поглощения, которая не совпадает со спектрами известных льдов или органических соединений. Этот загадочный «провал» может указывать на то, что на двух очень разных ледяных мирах Солнечной системы существует общий, пока неизвестный науке класс химических веществ, поглощающий свет, который формируется под действием экстремального холода и космической радиации.
Паразитические организмы иногда не учитывают, что сами могут оказаться целью паразита более высокого уровня. Сосредотачивая все свои силы на инфицировании и размножении, они остаются беззащитными перед агрессивным специализированным нахлебником.
Интригующие испытания высотного ракетного двигателя Raptor Vacuum для корабля Starship, верхней ступени сверхракеты Илона Маска, парадоксальны. Его работа на уровне моря уже сама по себе загадка. Ведь, по классическим представлениям, высотные двигатели на уровне моря корректно не работают. А сопло RaptorVAC на наземном стенде извергает реактивную струю без всяких признаков нарушения работы. Как такое может быть?
Американские ученые обнаружили в Гранд-Каньоне масштабную сеть скрытых пещер и изучили подземную гидросистему, которая снабжает водой весь национальный парк. Им удалось выяснить, как именно талая вода с поверхности путешествует по этим лабиринтам. Это открытие раскрыло глаза на то, как устроено знаменитое природное чудо, и поможет защитить его от засухи и загрязнений. Ранее этот механизм оставался для исследователей неизученным.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Вначале Reuters опубликовал статью о взаимоотношениях SpaceX и Пентагона, которую миллиардер --- традиционно для его отношений с этим изданием — назвал фейком. Опровергая ее тезисы, он обнародовал информацию, не представленную ранее публично.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии