Российские ученые повысили точность рекомендательных систем для соцсетей и онлайн-магазинов на 50 процентов

Научная группа из T-Bank AI Research серьезно оптимизировала алгоритм байесовского персонализированного ранжирования (БПР) — один из ключевых компонентов рекомендательных систем современных соцсетей и онлайн-магазинов. Именно на ее основе реализованы почти все новостные ленты в соцсетях, как и рекомендации пользователям при онлайн-шопинге.

Этот алгоритм анализирует множество переменных и их вероятностных зависимостей так, чтобы уловить, какие именно действия человека в соцсети (или потенциального покупателя в магазине) чаще всего вероятностно связаны с его выбором того, на какую именно новость, пост или товар он хочет кликнуть. БПР крайне популярно из-за относительно умеренных требований к ресурсам при достаточно высокой эффективности.

Авторы новой работы представили ее на ключевой Всемирной конференции по рекомендательным системам ACM RecSys, которая прошла с 14 по 18 октября в Бари (Италия). Текст принят к публикации в сборнике работ конференции Reproducibility track of the ACM RecSys и доступен на сервере препринтов Корнеллского университета. Исследователи взялись проанализировать, в каких именно случаях БПР справляется со своими задачами хуже или лучше обычного.

В результате ученым удалось показать, что практическая реализация БПР часто бывает весьма разной и в целом ряде случаев как минимум неоптимальна. Исходная научная работа о БПР, вышедшая 15 лет назад, хотя и получила едва ли не семь тысяч цитирований в других научных статьях, похоже, не всегда достаточно тщательно изучалась теми, кто брался за ее реализацию. По оценкам исследователей, итоговое снижение эффективности алгоритма в реализации может достигать 50% от максимальной, теоретически возможной, эффективности.

Авторы не ограничились этим выводом. Они также создали свою модель БПР и тщательно настроили ее гиперпараметры (так называют параметры, настраиваемые до запуска модели и неизменяемые в процессе ее работы). Затем протестировали ее эффективность на задачах из реального мира. Результаты оказались выше, чем у других реализаций модели.

Например, производительность в точных рекомендациях вышла на 50% выше, чем у модели из популярного опенсорс-фреймворка RecBole. Кроме того, она была на 10% выше, чем у модели Mult-VAE. Отметим, что Mult-VAE — модель для рекомендательных систем, основанная на нейронных сетях (разработка лаборатории Netflix), и считается одним из лидеров в отрасли, если не бесспорным лидером.

Сравнение эффективности для всех моделей шло по одному сценарию на одном и том же наборе данных — так называемом Наборе из миллиона песен. Критерием точности работы модели было то, насколько точно первые сделанные ею 100 рекомендаций совпали с интересами пользователя, проходящего через модель.

Поскольку работа исследователей из научно-исследовательской лаборатории T-Bank AI Research теперь в открытом доступе (и есть на GitHub), ее могут применять разработчики по всему миру для оптимизации самых разных рекомендательных систем. Это позволит покупателям быстрее находить нужные им товары в интернет-магазинах, а пользователям соцсетей — получать более осмысленную выдачу в лентах новостей и подписках. Как не раз отмечал Naked Science, проблемы с такими лентами давно стали буквально бичом для множества современных людей.