Самый большой научпоп канал
Подписаться
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
29.06.2022
НИУ ВШЭ
616

В НИУ ВШЭ предложили алгоритм для определения предпочтений пользователей смартфонов

4.6

Математики из НИУ ВШЭ в Нижнем Новгороде разработали новый способ прогнозирования предпочтений пользователей мобильных устройств. Метод, который точнее известных аналогов на 2–12 процентов, основан на одновременном распознавании объектов, лиц и сцен в фотогалерее смартфона и на удаленном сервере. В будущем его можно использовать для персонализации сервисов и услуг, а также максимально подходящих под конкретного человека рекомендаций.

В НИУ ВШЭ предложили алгоритм для определения предпочтений пользователей смартфонов / ©Getty images / Автор: Иван Беляев

Статья опубликована в журнале Pattern Recognition. В основе работы рекомендательных систем лежат алгоритмы, моделирующие пользовательское поведение, исходя из той информации, которая указана в профиле человека. Традиционные рекомендательные системы используют только структурированные и текстовые данные. Исследователи НИУ ВШЭ в Нижнем Новгороде и Санкт-Петербургского отделения Математического института имени В. А. Стеклова РАН разработали модель, которая использует для таких задач фотографии.

«На мобильном устройстве каждого человека хранится огромное количество фотоснимков, которые можно использовать для определения его увлечений, а также предпочтений в еде, одежде, автомобилях. Использование современных методов распознавания фотографий в галерее смартфона позволяет решить проблему «холодного старта», которая случается у новых пользователей. Другими словами, если человек не совершал покупок, не смотрел рекомендованные фильмы, система о нем ничего не знает и не может что-либо предложить», — считает один из авторов статьи профессор НИУ ВШЭ Андрей Савченко.

Однако, как отмечают исследователи, обработка фотографий требует защиты конфиденциальности пользователей. Большинство фотографий содержит персональные данные, обработку которых человек может запретить на удаленном сервере. Следовательно, аналитические системы должны быть установлены на самом устройстве. А это технически сложно реализуемая задача, так как для обработки одного изображения сверхглубоким сверточным нейронным сетям (CNN), которые применяются в такой обработке, требуется много времени и энергии.

Авторы статьи предложили новый метод, который позволяет быстро находить объекты, лица и определенные сцены и с высокой точностью распознавать события на фотографиях за счет одновременного анализа визуальных признаков и классификации найденных объектов с помощью нейронных сетей небольшого размера, специально разработанных для мобильных устройств. На обработку одной фотографии в них уходит от 30 до 100 мс.

За распознавание объектов и лиц отвечает детектор объектов, за определение сцен — вторая нейронная сеть-классификатор. В исследовании использовались наборы данных — PEC (Photo Event Collection) и WIDER (Web Image Dataset for Event Recognition). PEC содержит 14 классов сцен (дни рождения, свадьбы, праздники и др.), WIDER — 61 класс (встречи, танцы, пресс-конференции и другое).

Определение сцен позволяет извлечь информацию о предпочтениях человека, таких как искусство и театры, ночная жизнь, спорт. А детектор объектов может распознавать продукты питания, музыкальные инструменты, транспортные средства и другое, а также по лицам людей проводить анализ демографии (возраст, семья) и определять социальное положение. Все найденные на фотографиях лица проходят кластеризацию: алгоритм группирует в отдельные кластеры лицо каждого человека (самого пользователя на селфи, его родных и близких). Затем все фотографии с лицами помечаются как приватные (содержащие персональную информацию о пользователе и его знакомых), а остальные фотографии (в том числе и без лиц) — как потенциально общедоступные.

Таким образом, предусматривается защита персональных данных: все приватные фото и видео обрабатываются только на телефоне в автономном режиме. Другие фотографии могут быть отправлены на удаленный сервер для классификации сцен и обнаружения объектов с помощью вычислительно сложных нейронных сетей, которые характеризуются высокой точностью.
«Благодаря тому, что мы выделили приватные, а также публичные фотографии, которые обрабатываются на удаленном сервере, мы получили результат на 2–4 процента точнее, чем при использовании только нейронных сетей для мобильных устройств, и всего на 0,5 процента менее точный, чем при обработке всех фотографий с помощью сложных серверных моделей», — поясняет Андрей Савченко.

Предлагаемое решение реализовано в мобильном приложении для операционной системы Android. Экспериментальные результаты показывают возможность эффективной обработки изображений с улучшением точности на 2–12 процентов по сравнению с аналогами за счет того, что учитываются сцены и объекты одновременно.

Цифровой профиль человека сохраняется в виде гистограммы интересов, на основе которой могут работать рекомендательные системы. Например, ученые уже разработали рекомендательную систему ресторанов. На основании местоположения и информации о предпочтениях в еде система предлагает топ-10 ресторанов, которые соответствуют профилю пользователя и у которых максимальный средний рейтинг. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 15:35
Александр Березин

В рамках новой модели вспышки сверхновых существенно нарушили парниковый эффект на нашей планете. Это должно приводить к похолоданиям и даже вымиранию отдельных видов.

12 часов назад
Любовь Соковикова

Почти 13 тысяч человек в 50 странах сочли женские лица более привлекательными, чем мужские: эта закономерность сохранялась вне зависимости от пола, культурной и этнической принадлежности оценивающего.

Сегодня, 11:17
Александр Березин

Ученые из США и Австралии обнаружили, что такой сравнительно простой физический показатель как пальцевый индекс статистически надежно отделяет тех, кто хорошо переносит большие нагрузки, от тех, кому это дается с трудом.

9 июня
Александр Березин

2020-е годы показали, что любая система международной торговли может быть разрушена в кратчайшие сроки. Ученые решили выяснить, какие государства в таких условиях смогут прокормить свое население, а какие — не совсем. Лидером, что неожиданно, оказалось очень небольшое государство с населением менее миллиона человек.

9 июня
Адель Романенкова

Инженер Эррол Маск заявил, что одновременно с вопросом о межпланетном перелете автоматически возникает вопрос о возвращении астронавтов на Землю.

Вчера, 15:35
Александр Березин

В рамках новой модели вспышки сверхновых существенно нарушили парниковый эффект на нашей планете. Это должно приводить к похолоданиям и даже вымиранию отдельных видов.

5 июня
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

22 мая
ПНИПУ

Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.

26 мая
Unitsky String Technologies Inc.

Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно