В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов — Naked Science
6 минут
Денис Гордеев

В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов

4.5

Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.

Фрагмент одного из видеороликов
Фрагмент одного из видеороликов / Broxton, Flynn, Debevec et al., 2020

Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.

Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.

В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.

Схема получения видео при помощи полусферы с камерами и последующей обработки изображения / Broxton, Flynn, Debevec et al., 2020

Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.

Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.

Видео о разработке / Youtube — Rajamanickam Antonimuthu

Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.

Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сегодня, 07:05
10 минут
Василий Парфенов

Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.

6 часов назад
7 минут
Василий Парфенов

С момента появления систем автономного вождения многие задавались вопросом: а как они будут выглядеть в идентичных условия? К счастью, у нас наконец-то появилась возможность сравнить два самых известных автомобильных автопилота: системы разработки Tesla и Waymo — дочерней структуры Alphabet, владеющей Google. Машины проехали по одному маршруту, но сделали это совершенно по-разному, что весьма удивляет.

5 часов назад
10 минут
Мария Азарова

Исследование предоставило доказательства более плохого состояния костей тех, кто придерживается веганской диеты. Также исследователи обнаружили комбинацию биомаркеров, связанных с питанием, которые могут способствовать здоровью костной ткани.

2 марта
42 минуты
Редакция

Все знают, что нефть — это углеводороды. Но из чего она образовалась? Правда ли, что из динозавров? И сколько миллионов лет нефти, из которой сегодня делают бензин и сотни других важных окружающих нас вещей? Разбираемся, какие запасы нефти залегают в России и сколько их осталось, почему их до сих пор не добыли, а также, как это связано с существами, которые жили миллионы лет назад.

2 марта
5 минут
Сергей Васильев

Моделирование показало, что через миллиард лет атмосфера нашей планеты переживет резкие изменения и потеряет весь свой кислород, отбросив жизнь к древнейшим анаэробным формам.

Сегодня, 07:05
10 минут
Василий Парфенов

Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.

26 февраля
10 минут
Василий Парфенов

Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

15 февраля
9 минут
Василий Парфенов

Новость, которую странно публиковать на серьезном научно-популярном портале, но от реальности не убежишь. Уфологи всего мира могут радоваться: американские военные официально признали, что изучали места крушения НЛО и в их распоряжении есть некие аномальные объекты, свойства которых выходят за рамки известных науке материалов.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: