13.10.2020
Мария Кривоченко
2 926

Ученые отследили мимику и прочитали сообщение по губам с помощью наушников

2.8

Инженеры создали наушники со встроенными камерами, которые могут распознавать выражение лица, даже если оно скрыто медицинской маской, и позволяют читать по губам. Разработчики считают, что технологию можно будет использовать для проектирования трехмерных объектов и общения людям с нарушениями слуха.

Презентация разработанных наушников / © Чэн Чжан
Презентация разработанных наушников / © Чэн Чжан

C-Face разработал Чэн Чжан, директор лаборатории SciFi Корнеллского университета в США. Устройство состоит из наушников и двух миниатюрных камер, расположенных под каждым ухом. Они фиксируют движения лицевых мышц пользователя, а затем с помощью машинного обучения распознают возможные эмоции. Разработку представят на симпозиуме Ассоциации вычислительной техники по пользовательскому программному обеспечению и технологиям UIST’20.

Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.

Презентация разработанных наушников / © Чэн Чжан

«Раньше, чтобы зафиксировать мимику, приходилось располагать камеру перед собой», — рассказал Чжан. По его мнению, это ограничивает пользователей, особенно сейчас, когда большинство людей носят защитные маски и стандартные системы распознавания лиц плохо работают.

Исследователи полагают, что их устройство можно будет применить для моделирования трехмерных персонажей и проецирования мимики в виртуальной реальности. Кроме того, технология должна помочь людям с нарушениями слуха, которые вынуждены читать по губам собеседников, и преподавателям — для наблюдения за тем, насколько ученики погружены в работу во время дистанционного обучения. Наконец, лицевые сигналы планируют использовать, чтобы управлять параметрами воспроизведения в музыкальных приложениях и видеосервисах, а также передавать свои эмоции в видеочатах без веб-камеры.

C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, создателям предстоит решить несколько технических проблем: увеличить время автономной работы и защитить персональные данные пользователей.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Предстоящие мероприятия
Вчера, 21:17
Илья Ведмеденко

Научно-производственное объединение «Энергомаш» передало в прошлом году двигатель РД-171МВ ракетно-космическому центу «Прогресс»: там его ждут стендовые испытания в составе первой ступени ракеты-носителя «Союз-5».

Вчера, 13:25
Николай Цыгикало

Создание грандиозной группировки спутников Starlink продемонстрирует принципиально новые качества, которые начинают проявляться у экстремально больших спутниковых систем. Их баллистические возможности могут оказаться неожиданными и позволят использовать такую мегагрупприровку совсем не по основному назначению. Например, можно оперативно превратить часть мирных спутников в оружие и выполнить боевую задачу, а после вернуть спутники к их обычной работе. Naked Science задался вопросом, насколько это возможно.

Позавчера, 19:27
Михаил Орлов

В последнее время Азовское море страдает от нашествий медуз-корнеротов. Местные исследователи из Азово-Черноморского филиала ВНИРО подошли к проблеме изобретательно и предложили использовать корнеротов как ценный продукт питания.

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

26 января
Илья Ведмеденко

Украина, вероятно, потеряла недавно запущенный космический аппарат «Сич-2-30». Пока с ним нет устойчивой связи — или совсем никакой.

23 января
Илья Ведмеденко

(16) Психея – одно из самых необычных небесных тел в Поясе астероидов. Она может дать людям не только понимание о происхождении планет, но и невероятные по своим объемам ресурсы. Правда, придется подождать: миссия по исследованию астероида находится лишь в самом начале долгого и сложного пути.

12 января
Алиса Гаджиева

Дополнительное исследование вулканических пород формации Кибиш в Эфиопии изменило датировку найденных там костей Homo sapiens.

20 января
ТГУ

Ученые факультета физической культуры Томского государственного университета в рамках гранта, поддержанного РНФ, исследуют особенности механизма усвоения глюкозы при сахарном диабете второго типа. Для этого был организован масштабный четырехмесячный эксперимент на 240 мышах, подобного которому в мире еще никто не проводил. Животные с искусственно сформированным диабетом подвергались физической нагрузке. Установлено, что вечерние тренировки лучше снижали вес мышей мышей, а утренние – приводили к уменьшению уровня глюкозы. Предположительно, фактором, стимулирующим утилизацию глюкозы, выступил стресс. Ученые намерены проверить эту гипотезу.

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: