Ученые отследили мимику и прочитали сообщение по губам с помощью наушников — Naked Science
13.10.2020
Мария Кривоченко

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
24 сентября
Василий Парфенов

Недавно основанный стартап Success Rockets объявил о первых полноценных летных испытаниях своей суборбитальной ракеты Nebo 25. Запуск пройдет в ноябре, его цель — установить новый национальный рекорд по высоте полета среди частных компаний.

Вчера, 16:17
Sergei Sobol

В 80-х годах прошлого века японская автомобильная компания Honda выпустила в продажу складной мопед Motocompo. У него складывались руль, сиденье и подножки, превращая мопед в относительно небольшой прямоугольный «чемодан», позволяющий ему помещаться в багажнике малолитражного автомобиля.

Позавчера, 17:21
Илья Ведмеденко

Одной из новинок международного авиационно-космического салона Airshow China 2021 станет разведывательно-ударный БПЛА CH-6. На показанных фотографиях его впервые можно рассмотреть детально.

24 сентября
Василий Парфенов

Недавно основанный стартап Success Rockets объявил о первых полноценных летных испытаниях своей суборбитальной ракеты Nebo 25. Запуск пройдет в ноябре, его цель — установить новый национальный рекорд по высоте полета среди частных компаний.

21 сентября
Алиса Гаджиева

Иранские ученые расшифровали тексты с глиняных табличек времен правления Дария I.

Позавчера, 17:21
Илья Ведмеденко

Одной из новинок международного авиационно-космического салона Airshow China 2021 станет разведывательно-ударный БПЛА CH-6. На показанных фотографиях его впервые можно рассмотреть детально.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

15 сентября
Ольга Иванова

Американские исследователи выяснили, что в женских тампонах содержатся летучие органические соединения, которые влияют на присутствие этих веществ в моче. Интересно, что в прокладках их содержание значительно ниже.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: