Виртуальная реальность станет более реальной — Naked Science
5 минут
Сколтех

Виртуальная реальность станет более реальной

Ученые из лаборатории ADASE (Advanced Data Analytics in Science and Engineering) Сколтеха разработали способ повысить разрешение карт глубины, что в свою очередь поможет сделать виртуальную реальность и компьютерную графику более реалистичной.

Виртуальная реальность станет более реальной / ©quasar-e.ru

Результаты работы представлены на престижной конференции International Conference on Computer Vision 2019 в Корее.

Делая фотографию, мы фиксируем визуальную информацию об окружающих объектах: пиксели фото содержат в себе цвета соответствующих частей. Карты глубины (depth maps) — это снимки, которые фиксируют пространственную информацию: их пиксели содержат в себе расстояния от камеры до соответствующих точек пространства.

В таких приложениях, как компьютерная графика, дополненная или виртуальная реальность, эта пространственная информация используется для восстановления формы трехмерной поверхности объектов и их последующего отображения, например, на экране компьютера.

Одна из проблем сенсоров, захватывающих карты глубины (depth cameras), заключается в том, что разрешения этих захватываемых карт (то есть пространственной частоты замеров расстояния) недостаточны для высококачественного восстановления формы объектов. В результате их виртуальные реконструкции выглядят нереалистично. Перед исследователями стоит задача научиться получать из карт глубины низкого разрешения те же карты высокого разрешения.

Для этого ученые из лаборатории ADASE Сколтеха предложили новый способ оценки качества полученных результатов, приближенный к человеческому восприятию. Обучение искусственной нейронной сети с использованием способа измерения качества позволяет получить метод суперразрешения карт глубины, визуальное качество результатов которого значительно превосходит визуальное качество результатов, получаемых при помощи существующих методов.

«При суперразрешении карт глубины необходимо оценивать качество получаемого результата. Эта оценка используется, во-первых, для сравнения разных методов между собой, а во-вторых, во время разработки метода — как обратная связь для его совершенствования. Простейший способ получения такой оценки —измерение похожести результата на некоторый эталон.

В подавляющем большинстве работ, посвященных задаче суперразрешения карт глубины, количественной мерой качества является среднее отклонение расстояния в суперразрешенной карте глубины от его эталонного значения. Такой способ абсолютно не отражает визуального качества трехмерной реконструкции, получаемой из суперразрешенной карты глубины», — рассказывает первый автор исследования Олег Войнов.

«Мы предлагаем принципиально другой способ оценки, основанный на человеческом восприятии разницы между визуализациями трехмерных реконструкций, построенных по суперразрешенной и эталонной картам глубины. При его использовании графика получается действительно реалистичной. Мы надеемся, что наш метод получит широкое применение», — рассказывает один из разработчиков Алексей Артемов. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколтех
145 статей
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Позавчера, 18:58
8 минут
Мария Азарова

На «Романцевских горах» в Тульской области нашелся еще один серебристый «монолит». Однако теперь мы знаем, кто его создал — и с какой целью.

11 часов назад
24 минуты
Ольга Иванова

Почему провидцы не предсказали пандемию коронавируса? Ответ очевиден: по той же причине, по которой они не выигрывают в лотерею. Экстрасенсы попросту не знают будущего. Впрочем, этот факт неочевиден для большинства тех, кто верит в мистику. Разберемся, почему люди не обращают внимание на такие простые противоречия и безоговорочно доверяют экстрасенсам, когда их предсказания начинают совпадать с действительностью. Спойлер: дело не в недостатке образования.

Позавчера, 13:59
4 минуты
Ольга Иванова

Финские ученые показали: чтобы привести образование глюкозы в крови к нормальным значениям, достаточно съесть после еды черную смородину. Они уточнили также размер порции этого продукта.

30 ноября
7 минут
Василий Парфенов

История с загадочным артефактом в американском штате Юта становится все запутаннее. Мало того, что, вопреки всем предосторожностям властей, «монолит» нашли любопытные граждане, так его еще украли. А недавно стало известно об аналогичной находке в Европе — на территории археологического памятника в Пятра-Нямце, Румыния.

3 декабря
2 минуты
Илья Ведмеденко

В Калифорнии нашелся новый объект, похожий на монолит из «Космической одиссеи». Ранее нечто похожее обнаружили в штате Юта и на территории Румынии.

Позавчера, 18:58
8 минут
Мария Азарова

На «Романцевских горах» в Тульской области нашелся еще один серебристый «монолит». Однако теперь мы знаем, кто его создал — и с какой целью.

14 ноября
34 минуты
Василий Парфенов

На вопрос, кто проживает на дне океана, люди отвечают по-разному. Дети и некоторые взрослые скажут: Губка Боб Квадратные Штаны. Фанаты Лавкрафта благоговейно, но с огоньком в глазах пробормочут нечто вроде «Ктулху фхтагн». А подводники и океанологи задумчиво посмотрят на вопрошающего и, если повезет, расскажут много интересного. Про квакеров, «биоуток», «блуп» и еще Посейдон его знает какие аномальные явления подводного мира.

22 ноября
24 минуты
Александр Березин

Планеты вокруг нашего Солнца расположены совсем не так, как в других системах. И это имеет крайне необычные практические последствия: расчеты показывают, что вокруг нашей звезды должны вращаться две потенциально обитаемые планеты, а не одна, как сейчас. Одна из них куда-то бесследно исчезла – и это еще в лучшем случае. Рассказываем, почему так получилось и кто конкретно в этом виноват.

24 ноября
8 минут
Мария Азарова

Попадание патогена в эпителий слизистой дыхательных путей и захват вирусом бокаловидных клеток приводит к нарушению слизистого барьера. Из-за уменьшения количества муцина снижается не только обонятельная чувствительность, но и возникают неприятные ощущения в носу и рту, в том числе сухость.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: