• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
13.10.2020, 16:48
Мария Кривоченко
3,2 тыс

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

❋ 2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан / Автор: Telestis Scaevinius

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
21 февраля, 12:18
Игорь Байдов

Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.

23 февраля, 10:00
Evgenia Vavilova

Оказалось, что насекомые активно избегают влажных поверхностей.

22 февраля, 10:18
Игорь Байдов

Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.

21 февраля, 12:18
Игорь Байдов

Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.

23 февраля, 10:00
Evgenia Vavilova

Оказалось, что насекомые активно избегают влажных поверхностей.

22 февраля, 10:18
Игорь Байдов

Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.

12 февраля, 07:52
Адель Романова

Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.

28 января, 10:50
Игорь Байдов

Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.

26 января, 14:26
Александр Березин

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно