• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
29.06.2022
НИУ ВШЭ
563

В НИУ ВШЭ предложили алгоритм для определения предпочтений пользователей смартфонов

4.6

Математики из НИУ ВШЭ в Нижнем Новгороде разработали новый способ прогнозирования предпочтений пользователей мобильных устройств. Метод, который точнее известных аналогов на 2–12 процентов, основан на одновременном распознавании объектов, лиц и сцен в фотогалерее смартфона и на удаленном сервере. В будущем его можно использовать для персонализации сервисов и услуг, а также максимально подходящих под конкретного человека рекомендаций.

В НИУ ВШЭ предложили алгоритм для определения предпочтений пользователей смартфонов / ©Getty images

Статья опубликована в журнале Pattern Recognition. В основе работы рекомендательных систем лежат алгоритмы, моделирующие пользовательское поведение, исходя из той информации, которая указана в профиле человека. Традиционные рекомендательные системы используют только структурированные и текстовые данные. Исследователи НИУ ВШЭ в Нижнем Новгороде и Санкт-Петербургского отделения Математического института имени В. А. Стеклова РАН разработали модель, которая использует для таких задач фотографии.

«На мобильном устройстве каждого человека хранится огромное количество фотоснимков, которые можно использовать для определения его увлечений, а также предпочтений в еде, одежде, автомобилях. Использование современных методов распознавания фотографий в галерее смартфона позволяет решить проблему “холодного старта”, которая случается у новых пользователей. Другими словами, если человек не совершал покупок, не смотрел рекомендованные фильмы, система о нем ничего не знает и не может что-либо предложить», — считает один из авторов статьи профессор НИУ ВШЭ Андрей Савченко.

Однако, как отмечают исследователи, обработка фотографий требует защиты конфиденциальности пользователей. Большинство фотографий содержит персональные данные, обработку которых человек может запретить на удаленном сервере. Следовательно, аналитические системы должны быть установлены на самом устройстве. А это технически сложно реализуемая задача, так как для обработки одного изображения сверхглубоким сверточным нейронным сетям (CNN), которые применяются в такой обработке, требуется много времени и энергии.

Авторы статьи предложили новый метод, который позволяет быстро находить объекты, лица и определенные сцены и с высокой точностью распознавать события на фотографиях за счет одновременного анализа визуальных признаков и классификации найденных объектов с помощью нейронных сетей небольшого размера, специально разработанных для мобильных устройств. На обработку одной фотографии в них уходит от 30 до 100 мс.

За распознавание объектов и лиц отвечает детектор объектов, за определение сцен — вторая нейронная сеть-классификатор. В исследовании использовались наборы данных — PEC (Photo Event Collection) и WIDER (Web Image Dataset for Event Recognition). PEC содержит 14 классов сцен (дни рождения, свадьбы, праздники и др.), WIDER — 61 класс (встречи, танцы, пресс-конференции и другое).

Определение сцен позволяет извлечь информацию о предпочтениях человека, таких как искусство и театры, ночная жизнь, спорт. А детектор объектов может распознавать продукты питания, музыкальные инструменты, транспортные средства и другое, а также по лицам людей проводить анализ демографии (возраст, семья) и определять социальное положение. Все найденные на фотографиях лица проходят кластеризацию: алгоритм группирует в отдельные кластеры лицо каждого человека (самого пользователя на селфи, его родных и близких). Затем все фотографии с лицами помечаются как приватные (содержащие персональную информацию о пользователе и его знакомых), а остальные фотографии (в том числе и без лиц) — как потенциально общедоступные.

Таким образом, предусматривается защита персональных данных: все приватные фото и видео обрабатываются только на телефоне в автономном режиме. Другие фотографии могут быть отправлены на удаленный сервер для классификации сцен и обнаружения объектов с помощью вычислительно сложных нейронных сетей, которые характеризуются высокой точностью.
«Благодаря тому, что мы выделили приватные, а также публичные фотографии, которые обрабатываются на удаленном сервере, мы получили результат на 2–4 процента точнее, чем при использовании только нейронных сетей для мобильных устройств, и всего на 0,5 процента менее точный, чем при обработке всех фотографий с помощью сложных серверных моделей», — поясняет Андрей Савченко.

Предлагаемое решение реализовано в мобильном приложении для операционной системы Android. Экспериментальные результаты показывают возможность эффективной обработки изображений с улучшением точности на 2–12 процентов по сравнению с аналогами за счет того, что учитываются сцены и объекты одновременно.

Цифровой профиль человека сохраняется в виде гистограммы интересов, на основе которой могут работать рекомендательные системы. Например, ученые уже разработали рекомендательную систему ресторанов. На основании местоположения и информации о предпочтениях в еде система предлагает топ-10 ресторанов, которые соответствуют профилю пользователя и у которых максимальный средний рейтинг. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — одно из крупнейших и самых востребованных высших учебных заведений России, стран СНГ и государств Восточной Европы. В НИУ ВШЭ представлены все уровни образовательной подготовки (от лицея для школьников до аспирантуры и MBA) по широкому спектру направлений в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также творческих специальностей. Научные подразделения ВШЭ — институты, центры, лаборатории, возглавляемые ведущими российскими и зарубежными учеными, ориентированы как на фундаментальные исследования, так и на прикладные разработки по заказам федеральных и региональных органов власти, министерств и ведомств, российских и зарубежных компаний. Высшая школа экономики стабильно занимает высокие места в предметных рейтингах Times Higher Education (THE) и QS, а также является единственным российским университетом в топ-50 рейтингов молодых университетов сразу двух агентств.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 11:59
Сергей Васильев

Риск смерти у полярных рыб почти вдвое ниже, чем у жителей тропических морей. Поэтому они созревают медленнее, набирают большие размеры и только затем переходят к размножению, оставляя больше потомства.

4 часа назад
Александр Березин

Наблюдая за такими событиями, ученые пытаются найти частицы за пределами Стандартной модели и решить загадки, подобные темной материи.

7 часов назад
Анна Новиковская

Возрастная потеря памяти — одна из самых неприятных «старческих болезней», но результаты крупномасштабного исследования американских исследователей показали, что правильное питание может сохранить «твердую» память.

Вчера, 11:59
Сергей Васильев

Риск смерти у полярных рыб почти вдвое ниже, чем у жителей тропических морей. Поэтому они созревают медленнее, набирают большие размеры и только затем переходят к размножению, оставляя больше потомства.

Вчера, 13:52
Анна Новиковская

Синдром внезапной детской смерти, когда внешне здоровый младенец неожиданно погибает на первом году жизни, до сих пор уносит тысячи жизней по всему миру. И теперь американские исследователи заявили, что нашли одну из причин таких смертей.

26 мая
Анна Новиковская

Хотя люди впервые приручили диких лошадей как минимум 6000 лет назад, ездить верхом они начали существенно позже. И, судя по недавней находке в Китае, только три тысячи лет спустя наездники стали оседлывать своих скакунов.

12 мая
Александр Березин

В американской прессе обсуждают острый вопрос: почему, несмотря на санкции и потолок цен, в России не просто не было спада, но и, судя по ряду параметров, в 2023-м начался экономический подъем? Чтобы разрешить эту загадку, The Wall Street Journal обратился к спутниковым данным по мониторингу окислов азота. С их помощью журналисты обнаружили, что российские власти, кажется, дают миру неправильную статистику, а на самом деле в России, видимо, происходит глубокий спад. Насколько верна такая оценка? И что на самом деле случится с российской экономикой в этом году?

11 мая
Анна Новиковская

Большая часть алмазов, образующихся в недрах Земли, выносятся ближе к поверхности небольшими, но мощными извержениями породы. Однако австралийские исследователи обнаружили, что на деле эти извержения подпитываются громадными «тепловыми столбами», начинающимися у самого ядра нашей планеты.

10 мая
Мария Азарова

Ученые сравнили три типа коммуникации человека с кошкой и выяснили, какой из них нужно использовать, чтобы подружиться с питомцем.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: