Ученые отследили мимику и прочитали сообщение по губам с помощью наушников — Naked Science
4 минуты
Мария Кривоченко

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
7 часов назад
10 минут
Мария Азарова

Исследование американских кардиологов показало, что алкоголь практически неминуемо влияет на сердечный ритм, приводя к фибрилляции предсердий. Всего одна порция вина, пива или другого спиртного более чем в шесть раз повысила риск приступа в течение следующих четырех часов.

Вчера, 22:01
5 минут
Мария Азарова

В среднем интернет-пользователь тратит 32 секунды на выполнение задачи CAPTCHA, подсчитали эксперты. Таким образом, в сумме у человечества ежедневно уходит 500 лет на доказательство того, что мы не роботы.

Позавчера, 10:05
2 минуты
Sergei Sobol

Обращаете внимание, какой творческий подход проявляют дизайнеры при создании электрических мотоциклов? Каждый из них уникален своими особенностями, и наш сегодняшний фаворит – концептуальный электрический байк BMW Motorrad – не исключение. Он создан дизайнером из Валенсии Яго Валино (Iago Valino), вдохновившимся кастомными мотоциклами мастерской El Solitario. А эстетика байка навеяна культовыми мотоциклами Ural, в которые советские инженеры добавили собственный взгляд на традиции BMW.

Позавчера, 12:51
39 минут
Александр Березин

В июне 2020 года канадские астрономы рассчитали, что в Млечном Пути может быть пять миллиардов планет, похожих на Землю и вращающихся вокруг звезд, похожих на Солнце. Однако это лишь видимая часть айсберга обитаемых планет. Дело не только в том, что вокруг звезд других типов их больше: и сами условия на экзопланетах в других системах могут быть куда благоприятнее для жизни, чем у нас с вами. Попробуем понять почему.

Позавчера, 10:05
2 минуты
Sergei Sobol

Обращаете внимание, какой творческий подход проявляют дизайнеры при создании электрических мотоциклов? Каждый из них уникален своими особенностями, и наш сегодняшний фаворит – концептуальный электрический байк BMW Motorrad – не исключение. Он создан дизайнером из Валенсии Яго Валино (Iago Valino), вдохновившимся кастомными мотоциклами мастерской El Solitario. А эстетика байка навеяна культовыми мотоциклами Ural, в которые советские инженеры добавили собственный взгляд на традиции BMW.

7 часов назад
10 минут
Мария Азарова

Исследование американских кардиологов показало, что алкоголь практически неминуемо влияет на сердечный ритм, приводя к фибрилляции предсердий. Всего одна порция вина, пива или другого спиртного более чем в шесть раз повысила риск приступа в течение следующих четырех часов.

25 апреля
17 минут
Александр Березин

На этой неделе СМИ выдали новость, от которой можно впасть в шок: «Ранее из России уезжало около 14 тысяч исследователей [в год], теперь — 70 тысяч». Мы внимательно разобрались в ситуации и вынуждены отметить, что ничего подобного не было и нет. В реальности речь вовсе не об ученых и даже не о высококвалифицированных специалистах. Проблемы с учеными в России есть. Но в этом случае речь идет не о них, а о том, что отдельные бывшие комсомольские вожаки, удачно устроившиеся в РАН, перепутали утечку мозгов из России с отъездом из нее гастарбайтеров. Разбираемся, как это у них получилось.

23 апреля
11 минут
Василий Парфенов

Действующий глава NASA в рамках общения с прессой ответил на ряд вопросов, касающихся недавних заявлений российских политиков и главы «Роскосмоса» о скором отказе от собственного сегмента МКС. Администратор заверил всех, что агентство находится в хороших отношениях с Россией, а также поделился информацией о согласовании обмена местами для астронавтов и космонавтов в пилотируемых миссиях двух стран.

24 апреля
9 минут
Мария Азарова

Американские ученые показали обратную связь всех конечных точек смертности с содержанием омега-3-полиненасыщенных жирных кислот. Согласно их выводам, более высокие уровни некоторых основных ПНЖК в тканях и крови могут снижать вероятность смерти от всех причин в среднем на 13% и в итоге замедлять процесс старения.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: