Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

427

ИИ научился превращать текст в видео

Представлена новая система под названием Make-A-Video, которую разработали инженеры Meta* (признана экстремистской организацией на территории России). Как и следует из названия, пользователь может ввести текстовое описание того, что он хочет увидеть, а система с помощью искусственного интеллекта (ИИ) генерирует короткий ролик, соответствующий тексту. Видео пока что не слишком качественные, с размытыми объектами и искаженной анимацией, но все же система представляет значительный шаг вперед в области создания контента с помощью ИИ. 

Пример видео, сгенерированный новой моделью преобразования текста на основе искусственного интеллекта Make-A-Video. Текст для создания ролика гласил: «плюшевый мишка рисует свой портрет» / ©Meta*

Make-A-Video сейчас генерирует 16 кадровые ролики с разрешением 64 на 64 пикселя, которые затем увеличиваются в размере с помощью отдельной модели ИИ до 768 на 768.

Создатели системы отмечают, что Make-A-Video обучается на парах изображений и подписей, а также на немаркированных видеоматериалах. Учебный контент получается из двух наборов данных (WebVid-10M и HD-VILA-100M), которые вместе содержат миллионы видеороликов, охватывающих сотни тысяч часов отснятого материала. Сюда входят стоковые видеоматериалы, размещенные на таких сайтах, как Shutterstock, и извлеченные из других сайтов в Сети.  

Сейчас не известно, как и/или когда Make-A-Video станет общедоступным средством создания контента.  

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK

Комментарии

Написать комментарий
Предстоящие мероприятия
22 сентября, 12:52
Марк Чернов

Американские исследователи впервые смогли напрямую увидеть «квантовый скачок» звука — скачкообразный переход фонона, минимальной единицы звуковой энергии, между энергетическими уровнями в реальном времени. Это наблюдение завершило столетнюю историю поисков, начатую еще на заре квантовой физики, и открыло дорогу к созданию устойчивых квантовых компьютеров и сверхчувствительных датчиков.

21 сентября, 16:52
Редакция Naked Science

Всего 20-30 лет назад большинство женщин ходили на каблуках, а большинство мужчин — в обуви, подошва которой серьезно нагружала позвоночник и мышцы спины. Если задуматься, факт поразительный: 20 тысяч лет назад, в палеолите, таких проблем человечество вообще не испытывало. Как так получилось и что новые материалы делают, чтобы все эти сложности стали прошлым?

22 сентября, 08:31
Марк Чернов

Человеческий мозг оказался двумя разными органами, которые объединились в процессе эволюции сотни миллионов лет назад. Исследователи доказали, что передняя и задняя части мозга формируются из совершенно разных стволовых клеток. Это открытие опровергло давнюю научную теорию и позволило впервые вырастить нейроны ствола мозга в лаборатории.

21 сентября, 09:24
Елизавета З.

Европейское космическое агентство опубликовало снимок галактики NGC 4698, расположенной в созвездии Дева. Хотя на фотографии, сделанной телескопом «Хаббл», галактика кажется безмятежной, она хранит удивительную тайну: находящиеся в центре звезды и газ вращаются под прямым углом по отношению к остальной части диска.

21 сентября, 16:52
Редакция Naked Science

Всего 20-30 лет назад большинство женщин ходили на каблуках, а большинство мужчин — в обуви, подошва которой серьезно нагружала позвоночник и мышцы спины. Если задуматься, факт поразительный: 20 тысяч лет назад, в палеолите, таких проблем человечество вообще не испытывало. Как так получилось и что новые материалы делают, чтобы все эти сложности стали прошлым?

21 сентября, 16:53
Елизавета З.

«Яндекс» опубликовал в открытом доступе Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, которую разработчики обучили полностью с нуля. Она хорошо справляется с рассуждениями и задачами по программированию, а качество ответов на русском языке опережает многие зарубежные аналоги. В первую очередь это касается задач на знание фактов, интересных русскоязычной аудитории. Модель обошла даже более крупные опенсорс-модели, при этом для ее интерфейса не нужны большие вычислительные мощности. Свободная лицензия Apache 2.0. позволяет задействовать ее как в исследовательских, так и в коммерческих проектах.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

29 августа, 16:51
Александр Березин

Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.

[miniorange_social_login]