Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов
Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.
Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.
Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.
В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.
Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.
Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.
Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.
Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.
Telegram 
Дзен 
VK Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Оказалось, что насекомые активно избегают влажных поверхностей.
Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.
Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Исследователи Санкт-Петербургского государственного университета разработали эффективный способ обнаружения в крови важнейшего биомаркера иммунитета — неоптерина — с помощью нанотехнологий и лазера.
Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии