• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
20.06.2020
Денис Гордеев
5 151

В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов

4.5

Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.

Фрагмент одного из видеороликов
Фрагмент одного из видеороликов / Broxton, Flynn, Debevec et al., 2020

Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.

Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.

В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.

Схема получения видео при помощи полусферы с камерами и последующей обработки изображения / Broxton, Flynn, Debevec et al., 2020

Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.

Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.

Видео о разработке / Youtube — Rajamanickam Antonimuthu

Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.

Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 12:32
Алиса Гаджиева

Авторы нового исследования рассказали, каким образом древние люди доставляли многотонные камни к месту строительства крупнейшего в Европе мегалитического сооружения.

5 декабря
Дарья Губина

Впервые вблизи сверхмассивной черной дыры в центре Млечного Пути обнаружили звезду из другой галактики. По данным наблюдений за восемь лет ученые смогли определить состав, скорость и другие параметры этого объекта.

Вчера, 11:27
Александр Березин

На проходящей в Шанхае выставке Marintec China 2023 государственная китайская верфь заявила о намерении построить самый большой в мире атомный контейнеровоз (на 24 тысячи стандартных контейнеров). Необычной чертой 400-метрового гиганта должен стать реактор такого типа, который до сих пор никому не удавалось заставить работать штатно.

1 декабря
Александр Березин

Судно Yara Eyde станет первым, плавающим только на этом виде топлива, что потребует существенных модификаций судового двигателя. Его токсичность настолько высока, что предельно допустимая концентрация подобного горючего в 15 раз ниже, чем у солярки, применяемой в контейнеровозах сегодня. Производитель решился на столь непростой шаг ради экологии.

Позавчера, 12:32
Алиса Гаджиева

Авторы нового исследования рассказали, каким образом древние люди доставляли многотонные камни к месту строительства крупнейшего в Европе мегалитического сооружения.

5 декабря
Дарья Губина

Впервые вблизи сверхмассивной черной дыры в центре Млечного Пути обнаружили звезду из другой галактики. По данным наблюдений за восемь лет ученые смогли определить состав, скорость и другие параметры этого объекта.

15 ноября
Александр Березин

Парниковый эффект от американского природного газа, поставляемого в Старый Свет, неожиданно оказался выше, чем от сжигания местного угля. И намного выше, чем от российского газа.

1 декабря
Александр Березин

Судно Yara Eyde станет первым, плавающим только на этом виде топлива, что потребует существенных модификаций судового двигателя. Его токсичность настолько высока, что предельно допустимая концентрация подобного горючего в 15 раз ниже, чем у солярки, применяемой в контейнеровозах сегодня. Производитель решился на столь непростой шаг ради экологии.

10 ноября
Михаил Орлов

Известно всего несколько примеров злокачественных опухолей, которые ведут себя подобно инфекции — передаются другим организмам. Среди них — трансмиссивный рак двустворчатых моллюсков BTN. Авторы новой статьи описали географические и экологические аспекты распространения BTN среди мидий в Баренцевом море, оценили число больных моллюсков и узнали, как расселение «заразного рака» связано с Северным морским путем.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: