Виртуальная реальность станет более реальной — Naked Science
5 минут
Сколтех

Виртуальная реальность станет более реальной

Ученые из лаборатории ADASE (Advanced Data Analytics in Science and Engineering) Сколтеха разработали способ повысить разрешение карт глубины, что в свою очередь поможет сделать виртуальную реальность и компьютерную графику более реалистичной.

Виртуальная реальность станет более реальной / ©quasar-e.ru

Результаты работы представлены на престижной конференции International Conference on Computer Vision 2019 в Корее.

Делая фотографию, мы фиксируем визуальную информацию об окружающих объектах: пиксели фото содержат в себе цвета соответствующих частей. Карты глубины (depth maps) — это снимки, которые фиксируют пространственную информацию: их пиксели содержат в себе расстояния от камеры до соответствующих точек пространства.

В таких приложениях, как компьютерная графика, дополненная или виртуальная реальность, эта пространственная информация используется для восстановления формы трехмерной поверхности объектов и их последующего отображения, например, на экране компьютера.

Одна из проблем сенсоров, захватывающих карты глубины (depth cameras), заключается в том, что разрешения этих захватываемых карт (то есть пространственной частоты замеров расстояния) недостаточны для высококачественного восстановления формы объектов. В результате их виртуальные реконструкции выглядят нереалистично. Перед исследователями стоит задача научиться получать из карт глубины низкого разрешения те же карты высокого разрешения.

Для этого ученые из лаборатории ADASE Сколтеха предложили новый способ оценки качества полученных результатов, приближенный к человеческому восприятию. Обучение искусственной нейронной сети с использованием способа измерения качества позволяет получить метод суперразрешения карт глубины, визуальное качество результатов которого значительно превосходит визуальное качество результатов, получаемых при помощи существующих методов.

«При суперразрешении карт глубины необходимо оценивать качество получаемого результата. Эта оценка используется, во-первых, для сравнения разных методов между собой, а во-вторых, во время разработки метода — как обратная связь для его совершенствования. Простейший способ получения такой оценки —измерение похожести результата на некоторый эталон.

В подавляющем большинстве работ, посвященных задаче суперразрешения карт глубины, количественной мерой качества является среднее отклонение расстояния в суперразрешенной карте глубины от его эталонного значения. Такой способ абсолютно не отражает визуального качества трехмерной реконструкции, получаемой из суперразрешенной карты глубины», — рассказывает первый автор исследования Олег Войнов.

«Мы предлагаем принципиально другой способ оценки, основанный на человеческом восприятии разницы между визуализациями трехмерных реконструкций, построенных по суперразрешенной и эталонной картам глубины. При его использовании графика получается действительно реалистичной. Мы надеемся, что наш метод получит широкое применение», — рассказывает один из разработчиков Алексей Артемов. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколтех
172 статей
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Сегодня, 07:05
10 минут
Василий Парфенов

Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.

7 часов назад
7 минут
Василий Парфенов

С момента появления систем автономного вождения многие задавались вопросом: а как они будут выглядеть в идентичных условия? К счастью, у нас наконец-то появилась возможность сравнить два самых известных автомобильных автопилота: системы разработки Tesla и Waymo — дочерней структуры Alphabet, владеющей Google. Машины проехали по одному маршруту, но сделали это совершенно по-разному, что весьма удивляет.

6 часов назад
10 минут
Мария Азарова

Исследование предоставило доказательства более плохого состояния костей тех, кто придерживается веганской диеты. Также исследователи обнаружили комбинацию биомаркеров, связанных с питанием, которые могут способствовать здоровью костной ткани.

2 марта
42 минуты
Редакция

Все знают, что нефть — это углеводороды. Но из чего она образовалась? Правда ли, что из динозавров? И сколько миллионов лет нефти, из которой сегодня делают бензин и сотни других важных окружающих нас вещей? Разбираемся, какие запасы нефти залегают в России и сколько их осталось, почему их до сих пор не добыли, а также, как это связано с существами, которые жили миллионы лет назад.

2 марта
5 минут
Сергей Васильев

Моделирование показало, что через миллиард лет атмосфера нашей планеты переживет резкие изменения и потеряет весь свой кислород, отбросив жизнь к древнейшим анаэробным формам.

Сегодня, 07:05
10 минут
Василий Парфенов

Американские исследователи проанализировали данные опросов молодежи в возрасте от 18 до 23 лет с 2007 по 2017 год и обнаружили несколько факторов, коррелирующих с общей тенденцией к снижению популярности случайного секса, то есть нерегулярных половых связей вне постоянных романтических отношений. Среди наиболее заметных — возросшая вовлеченность в компьютерные игры, жизнь под одной крышей с родителями и меньшее употребление алкоголя.

26 февраля
10 минут
Василий Парфенов

Даже при разработке точнейших научных инструментов случаются разные технические сюрпризы — и хорошо, если приятные. К счастью, именно так вышло на этот раз. Ученые получили очередную порцию данных с космического аппарата Parker Solar Probe и здорово удивились. На сделанном в оптическом диапазоне снимке ночной стороны Венеры видны детали поверхности, обычно скрытые плотными облаками. Теперь предстоит решить загадку: либо камера оказалась чувствительна к инфракрасному диапазону излучения, либо случайно обнаружилось «окно» для наблюдений через атмосферу этой планеты.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

15 февраля
9 минут
Василий Парфенов

Новость, которую странно публиковать на серьезном научно-популярном портале, но от реальности не убежишь. Уфологи всего мира могут радоваться: американские военные официально признали, что изучали места крушения НЛО и в их распоряжении есть некие аномальные объекты, свойства которых выходят за рамки известных науке материалов.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: