Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

427

ИИ научился превращать текст в видео

Представлена новая система под названием Make-A-Video, которую разработали инженеры Meta* (признана экстремистской организацией на территории России). Как и следует из названия, пользователь может ввести текстовое описание того, что он хочет увидеть, а система с помощью искусственного интеллекта (ИИ) генерирует короткий ролик, соответствующий тексту. Видео пока что не слишком качественные, с размытыми объектами и искаженной анимацией, но все же система представляет значительный шаг вперед в области создания контента с помощью ИИ. 

Пример видео, сгенерированный новой моделью преобразования текста на основе искусственного интеллекта Make-A-Video. Текст для создания ролика гласил: «плюшевый мишка рисует свой портрет» / ©Meta*

Make-A-Video сейчас генерирует 16 кадровые ролики с разрешением 64 на 64 пикселя, которые затем увеличиваются в размере с помощью отдельной модели ИИ до 768 на 768.

Создатели системы отмечают, что Make-A-Video обучается на парах изображений и подписей, а также на немаркированных видеоматериалах. Учебный контент получается из двух наборов данных (WebVid-10M и HD-VILA-100M), которые вместе содержат миллионы видеороликов, охватывающих сотни тысяч часов отснятого материала. Сюда входят стоковые видеоматериалы, размещенные на таких сайтах, как Shutterstock, и извлеченные из других сайтов в Сети.  

Сейчас не известно, как и/или когда Make-A-Video станет общедоступным средством создания контента.  

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
14 сентября, 07:49
Марк Чернов

Британские физики впервые визуализировали процесс, при котором две отрицательно заряженные молекулы ДНК сближаются и пристыковываются друг к другу точно в местах с одинаковым генетическим кодом вопреки ожидаемому отталкиванию. Прямое наблюдение этого механизма подтвердило 20-летнюю гипотезу и раскрыло фундаментальные процессы восстановления генома, деления клеток и развития онкологических заболеваний.

14 сентября, 11:27
Марк Чернов

Японские ученые выяснили, что даже короткий вдох аромата свежесваренного кофе способен быстро улучшить эмоциональное состояние и уменьшить уровень стресса. У молодых участников эксперимента всего за пять минут вдыхания кофейного аромата снизились показатели тревожности, усталости и подавленности. При этом частота сердечных сокращений практически не изменилась.

14 сентября, 10:27
Игорь Байдов

Падение астероида примерно 66 миллионов лет назад запустило цепь событий, которые привели к вымиранию нептичьих динозавров. Однако некоторые группы пресмыкающихся пережили эту катастрофу и начали быстро восстанавливаться. Всего через несколько сотен тысяч лет после случившегося в реках Северной Америки уже охотился двухметровый хищник с необычными зубами, способными дробить твердую пищу. Его остатки помогли ученым понять, как аллигаторы развивались практически сразу после вымирания.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

11 сентября, 10:25
Александр Березин

Современная космология до недавнего времени опиралась на так называемый космологический принцип, по которому у Вселенной нет какого-то выделенного направления. И наблюдатель в любой ее точке должен видеть однородную в этом смысле картину. Астроном из Северокавказской астрофизической обсерватории показал, что это не так даже для очень древней Вселенной.

12 сентября, 09:45
Любовь С.

Превратив почти 30 лет наблюдений за сверхмассивной черной дырой в видео, астрономы выяснили, что яркие участки в джете движутся совсем не так, как считалось раньше.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]