• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
13.10.2020
Мария Кривоченко
3 134

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан / Автор: Telestis Scaevinius

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 14:25
Дарья Г.

По оценкам ученых, «свободных» планет в Млечном Пути может быть в 20 раз больше, чем звезд. Так как планеты сами не светятся, разглядеть их сложно: их ищут гравилинзированием, лучше всего обнаруживающим самые массивные планеты типа Юпитера. Но вот удалось найти еще одну такую «сироту», причем не массивную с Юпитер, а земного размера. И ученые уверены, что это лишь первая находка из многих.

Позавчера, 13:05
Александр Березин

В норме чем больше становится видов в группе, тем острее они конкурируют между собой, что сначала замедляет возникновение новых видов, а затем ведет к вымиранию. Новая научная работа показала, что у рода Homo ситуация почему-то была обратной: чем больше видов он образовывал, тем быстрее возникали новые дополнительные. Среди позвоночных подобных примеров нет, только среди жуков на изолированных островах. Ученые выдвинули ряд гипотез, позволяющих объяснить столь удивительный результат.

Вчера, 16:49
Андрей

Международная группа геофизиков изучила облик внутреннего ядра Земли, чтобы выяснить, какой у него тип тепловой конвекции. В ходе исследования ученые обнаружили самые горячие и самые холодные точки в центре планеты.

Позавчера, 14:25
Дарья Г.

По оценкам ученых, «свободных» планет в Млечном Пути может быть в 20 раз больше, чем звезд. Так как планеты сами не светятся, разглядеть их сложно: их ищут гравилинзированием, лучше всего обнаруживающим самые массивные планеты типа Юпитера. Но вот удалось найти еще одну такую «сироту», причем не массивную с Юпитер, а земного размера. И ученые уверены, что это лишь первая находка из многих.

Позавчера, 13:05
Александр Березин

В норме чем больше становится видов в группе, тем острее они конкурируют между собой, что сначала замедляет возникновение новых видов, а затем ведет к вымиранию. Новая научная работа показала, что у рода Homo ситуация почему-то была обратной: чем больше видов он образовывал, тем быстрее возникали новые дополнительные. Среди позвоночных подобных примеров нет, только среди жуков на изолированных островах. Ученые выдвинули ряд гипотез, позволяющих объяснить столь удивительный результат.

Вчера, 16:49
Андрей

Международная группа геофизиков изучила облик внутреннего ядра Земли, чтобы выяснить, какой у него тип тепловой конвекции. В ходе исследования ученые обнаружили самые горячие и самые холодные точки в центре планеты.

8 апреля
Василий Парфенов

Режим работы, количество трудовых часов в неделю и экономическую стабильность профессии прочно ассоциируют с благополучием человека. Количественно и качественно определить эти взаимосвязи получается редко — нужны большие выборки респондентов и длительное время наблюдений. Автор новой научной работы использовал долговременное исследование более чем семи тысяч американцев, чтобы выявить основные эффекты паттернов трудовой деятельности на психическое и физическое здоровье работающих людей.

28 марта
Игорь Байдов

Американская компания JetZero, которая обещает произвести фурор в гражданской авиации, получила сертификат летной годности на испытания уменьшенной копии разрабатываемого ею сверхэффективного реактивного авиалайнера со «смешанным крылом». Предстоящая программа летных испытаний будет направлена на оценку летно-технических характеристик самолета, его устойчивости и управляемости.

29 марта
Ольга Иванова

Ученые из США и Швейцарии определили четыре ключевых механизма, задействованных в трансформации личности человека. Но ни один из них не сработает без самого главного — сильного желания измениться.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: