• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
13.10.2020
Мария Кривоченко
3 145

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан / Автор: Telestis Scaevinius

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 12:55
Игорь Байдов

Существует несколько гипотез о том, как на самом деле древние египтяне строили свои пирамиды. Если о способах возведения монументальных сооружений и инструментах, которые использовали строители, более-менее известно, то о методах доставки блоков и их установки мнения разнятся. Команда французских архитекторов и египтологов изучила ландшафт вокруг самой древней из сохранившихся египетских пирамид — Джосера — и рассказала, как египтяне могли доставлять и поднимать камни для ее строительства.

Вчера, 10:00
ПНИПУ

Эпоксидные смолы известны своей прочностью, устойчивостью к химическим воздействиям и хорошими электрическими свойствами. Такие полимеры используют в качестве основы красок, покрытий, клеев и изоляционных материалов. Однако их применение ограничено высокой вязкостью. Ученые ПНИПУ синтезировали низковязкую, но прочную эпоксидную смолу. Разработка откроет новые горизонты ее использования, избавит от потребности применять разбавители и станет модификатором более высоковязких существующих смол без понижения механических характеристик. Например, клей и краска станут более устойчивыми.

Позавчера, 20:04
Юлия Трепалина

Современные млекопитающие небольшого размера вроде крыс и других грызунов быстро созревают, спариваются, чтобы оставить потомство, и довольно скоро умирают. Однако так было не всегда. Анализ окаменелых останков вымерших млекопитающих под названием Krusatodon kirtlingtonensis показал, что эти мышеподобные существа жили дольше и взрослели медленнее, чем близкие к ним современные потомки.

Вчера, 12:55
Игорь Байдов

Существует несколько гипотез о том, как на самом деле древние египтяне строили свои пирамиды. Если о способах возведения монументальных сооружений и инструментах, которые использовали строители, более-менее известно, то о методах доставки блоков и их установки мнения разнятся. Команда французских архитекторов и египтологов изучила ландшафт вокруг самой древней из сохранившихся египетских пирамид — Джосера — и рассказала, как египтяне могли доставлять и поднимать камни для ее строительства.

23 июля
Андрей

Человек множеством способов загрязняет природу вокруг себя, преимущественно воду. В Мировой океан попадают как отходы с производств, так и тонны пластикового мусора. Все это способно отравлять жизнь морских животных, особенно редких вроде акул. Одним из малоизученных токсичных источников можно назвать наркотики, в частности кокаин. Случайное употребление этого вещества акулами раньше только предполагали, но теперь бразильские биологи нашли прямые доказательства.

23 июля
НИУ ВШЭ

Международная команда исследователей с участием ученых из НИУ ВШЭ изучила, как люди, владеющие двумя языками (билингвы), ассоциируют время с пространством. Оказалось, что и в первом, и во втором языке они связывают прошлое с левой частью пространства, а будущее — с правой. При этом чем выше уровень владения вторым языком, тем сильнее выражена эта связь.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

12 июля
Александр Березин

Falcon 9 Block 5 впервые за три сотни запусков дал частично неудачный полет. Ракета выводила 20 спутников компании SpaceX, с 15 связь уже пропала, еще пять могут быть потеряны в ближайшее время.

15 июля
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно