Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов
Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.
Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.
Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.
В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.
Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.
Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.
Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.
Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.
Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.
С момента появления систем автономного вождения многие задавались вопросом: а как они будут выглядеть в идентичных условия? К счастью, у нас наконец-то появилась возможность сравнить два самых известных автомобильных автопилота: системы разработки Tesla и Waymo — дочерней структуры Alphabet, владеющей Google. Машины проехали по одному маршруту, но сделали это совершенно по-разному, что весьма удивляет.
Исследование предоставило доказательства более плохого состояния костей тех, кто придерживается веганской диеты. Также исследователи обнаружили комбинацию биомаркеров, связанных с питанием, которые могут способствовать здоровью костной ткани.
Все знают, что нефть — это углеводороды. Но из чего она образовалась? Правда ли, что из динозавров? И сколько миллионов лет нефти, из которой сегодня делают бензин и сотни других важных окружающих нас вещей? Разбираемся, какие запасы нефти залегают в России и сколько их осталось, почему их до сих пор не добыли, а также, как это связано с существами, которые жили миллионы лет назад.
Моделирование показало, что через миллиард лет атмосфера нашей планеты переживет резкие изменения и потеряет весь свой кислород, отбросив жизнь к древнейшим анаэробным формам.
Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.
Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.
В Техасе замерзли газовые скважины и от холода встал блок АЭС: новые подробности рекордного блэкаута
Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.
Новость, которую странно публиковать на серьезном научно-популярном портале, но от реальности не убежишь. Уфологи всего мира могут радоваться: американские военные официально признали, что изучали места крушения НЛО и в их распоряжении есть некие аномальные объекты, свойства которых выходят за рамки известных науке материалов.
Комментарии