Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В Google создали технологию, которая позволяет рассматривать видео с разных ракурсов
Благодаря использованию нескольких десятков экшн-камер и сверточных нейросетей объемные видеоролики становятся еще более реалистичными.
Специалисты Google разработали технологию, которая дает возможность демонстрировать зрителю максимально реалистичное объемное видео. Благодаря полимерной полусфере, на которой расположены экшн-камеры, человек может рассматривать происходящее в видеоролике с разных ракурсов и направлений. Статья об этой разработке будет представлена на конференции SIGGRAPH 2020, запланированной на середину июля.
Человек видит мир объемным благодаря тому, что у него есть два глаза, и зрительная кора мозга получает изображение с двух различных точек в пространстве. А благодаря движениям головы задействуется параллакс движения (проекционные изменения на сетчатке глаза при перемещении в пространстве), и это дает нам возможность оценивать объем и смещение объектов относительно друг друга.
В стереокамерах и шлемах виртуальной реальности бинокулярное зрение воспроизводится благодаря тому, что каждый глаз получает кадры с разного ракурса. Однако параллакс движения воспроизвести при таком подходе невозможно, потому что при съемке камера уже находилась в конкретной точке, и поменять это после уже невозможно.
Инженеры Google работают над решением этой проблемы уже не первый год. Благодаря комбинации аппаратных и программных методов им удалось создать технологию, которая дает возможность рассматривать происходящее на видео как бы с разных точек. Кадры с 46 камер, расположенных на полусферической поверхности, передаются в сверточную нейросеть, которая, в свою очередь, разбивает эти кадры на множество слоев — в зависимости от расстояния до определенного объекта в поле съемки.
Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей, после чего эти слои оптимизируются: каждые восемь слоев объединяются с созданием полигональной сетки, а изображение в качестве текстуры накладывается поверх. Полученные текстуры объединяются в текстурный атлас, разрешение которого — 3240 на 5760 пикселей. Таким образом, первоначальный поток данных, в котором каждому кадру соответствует множество слоев, превращается в два отдельных поток: в первом содержатся изображения, которые можно эффективно сжимать, во втором — полигональные сетки.
Используя такой подход, разработчики создали несколько видеороликов, в которых можно менять ракурс передвижениями курсора. Битрейт потока (количество бит, используемых для обработки и передачи данных в единицу времени) при этом находится в диапазоне от 150 до 300 мегабит в секунду. Это дает возможность применять технологию для стриминга реалистичного объемного видео пользователям шлемов виртуальной реальности с гигабитным интернетом.
Ранее мы писали о том, что химики из Токийского университета смогли снять на видео колебания атомов в молекулах фуллерена, а российский ютьюбер при помощи нейросети раскрасил видеосъемку Москвы 1896 года.
Африканские саванные слоны приветствуют друг друга с помощью разных комбинаций жестов и звуков. Международная группа ученых выяснила, что выбор способа общения у них может зависеть от того, нужно ли привлечь внимание «собеседника» или контакт уже установлен.
Международная группа ученых пришла к выводу, что некоторые землетрясения могут быть частично вызваны сильными осадками — дождями и особенно снегопадами.
В 2019 году исследователи предположили, что подвижные брови у собак развились в процессе одомашнивания и отбора человеком. Однако проведенное недавно вскрытие африканской гиеновидной собаки позволило выдвинуть новую версию, в которой первичную роль людей поставили под сомнение.
Американские ученые почти 30 лет наблюдали за семьями попугаев в Южной Америке и узнали, зачем попугаи убивают или, наоборот, усыновляют птенцов овдовевших самок.
Многие владельцы собак задумываются, какое питание лучше для питомцев: на основе сырого мяса или промышленных сухих кормов? В поисках ответа на вопрос американские исследователи устроили эксперимент, в котором сравнили действие этих двух диет на псов. Результаты оказались неоднозначными.
Венера, наша соседка по Солнечной системе, по массе и силе тяжести предельно похожа на Землю, но по условиям невероятно далека от нее. Ученые пытаются понять, что произошло с этой планетой и почему она растеряла почти всю свою воду. Авторы новой работы предположили, что виновник — известная химическая реакция, которую просто не пробовали рассчитать для Венеры.
Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.
Ледяной покров Антарктики претерпевает значительные изменения на протяжении года, и его поведение хорошо изучено в общем. Но некоторые локальные аномалии объяснить не получается вот уже несколько десятилетий. Одна из них — полынья возвышения Мод, или полынья моря Уэдделла, которая появляется нерегулярно на одном и том же месте. Международная команда океанологов, наконец, смогла разгадать механизмы ее образования.
Северный Кавказ играл ключевую роль в древней колонизации Евразии и формировании ее культурного и генетического наследия, однако до сих пор не до конца изучена генетическая история носителей местных культур. Ученые впервые провели глубокое секвенирование древней ДНК представителей кобанской культуры, сформировавшейся в позднем бронзовом веке на Северном Кавказе, и сравнили ее с генетическими данными современных народов Кавказа. Результаты работы подтвердили роль носителей кобанской культуры как древнего генетического моста между бронзовым и железным веками на Северном Кавказе.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии