В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов — Naked Science
20.06.2020
Денис Гордеев

В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов

4.5

Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.

Фрагмент одного из видеороликов
Фрагмент одного из видеороликов / Broxton, Flynn, Debevec et al., 2020

Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.

Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.

В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.

Схема получения видео при помощи полусферы с камерами и последующей обработки изображения / Broxton, Flynn, Debevec et al., 2020

Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.

Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.

Видео о разработке / Youtube — Rajamanickam Antonimuthu

Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.

Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 06:30
Мария Азарова

Ученые проверили содержание побочных продуктов дезинфекции в чае, который заваривали водопроводной или наночистой водой с хлором. Уровни этих соединений в напитке были ниже, чем в самой воде, однако большинство из них оказались неизвестны исследователям — как и их воздействие на здоровье человека.

Вчера, 14:35
Алиса Гаджиева

Ученые из Института археологии и этнографии Сибирского отделения РАН обнаружили городище Шилкинской системы.

7 часов назад
Мария Азарова

Она значительно увеличилась за последнюю неделю и теперь превышает по размерам 75% озоновых дыр, наблюдаемых с 1979 года.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

Вчера, 06:30
Мария Азарова

Ученые проверили содержание побочных продуктов дезинфекции в чае, который заваривали водопроводной или наночистой водой с хлором. Уровни этих соединений в напитке были ниже, чем в самой воде, однако большинство из них оказались неизвестны исследователям — как и их воздействие на здоровье человека.

13 сентября
Сергей Васильев

Европейские биологи обнаружили, что лекарства могут накапливаться в клетках кишечной микрофлоры, меняя количество и сроки попадания препарата в организм человека.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

17 августа
Александр Березин

Наши леса вновь горят, сообщают СМИ. На вид все ясно: лес гибнет и скоро погибнет окончательно. Если бы не одно «но»: согласно научным работам в рецензируемых журналах, биомасса наших лесов за 26 лет выросла почти на 39%. А это совершенно немыслимый, рекордный прирост — что, конечно, не отменяет ущерб от пожаров для населенных пунктов. Кому верить: дыму пожаров со страниц СМИ или ученым? И почему борьба властей с пожарами, скорее всего, сделает ситуацию еще хуже? Попробуем разобраться.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: