ИИ сочинил более смешные подписи к интернет-мемам, чем люди

Своеобразный турнир по проверке навыков сочинительства подписей к мемам провела группа ученых из Германии и Швеции. В эксперименте задействовали три сценария: в первом задачу выполняли только люди без помощи ИИ, во втором для генерации идей участникам разрешили использовать чат-интерфейс с нейросетью GPT-4o, а в третьем работу полностью поручили искусственному интеллекту. Исследователи использовали уже существующие шаблоны популярных мемов, а люди и нейросеть придумывали к ним только текст, который мог затрагивать одну из трех тем: работу, еду или спорт.

На следующем этапе созданные таким образом «веселые картинки» использовали в онлайн-опросе, организованном с помощью платформы Prolific. В нем участников попросили оценить мемы с подписями по трем критериям: юмор, находчивость (креативный подход) и потенциал к широкому распространению.

В итоге мемы с целиком сгенерированными ИИ подписями в среднем набрали больше баллов по всем трем аспектам.

«Вынужден объявить, что мемная версии теста Тьюринга пройдена», — прокомментировал результаты профессор Уортонской школы бизнеса Итан Моллик (Ethan Mollick). Тест Тьюринга считают способом проверки сходства искусственного интеллекта с человеком.

Однако выводы исследователей не так однозначны, как может показаться на первый взгляд. Хотя у нейросети получились усредненно более удачные мемы, когда ученые рассмотрели отдельные примеры, выяснилось, что самые смешные из них — полностью «человеческие». Кроме того, первые места за креативность и потенциальную вирусность получили мемы, подписи к которым создали люди в тандеме с ИИ.

Также ученые установили, что хотя участники, которым помогала нейросеть, выдвигали больше идей и тратили на это меньше усилий, последующая оценка их подписей показала: в среднем они не лучше тех, где люди сочиняли их самостоятельно. Иначе говоря, повышение продуктивности за счет использования ИИ вело не к лучшим результатам, а лишь к увеличению их количества, пояснили авторы.

По мнению ученых, успех ИИ связан с обучением на огромных массивах данных, что позволило нейросети подбирать подписи, импонирующие более широкой аудитории. Мемы с подписями, созданными людьми, в большей степени отражали личный опыт, и временами такие варианты оказывались самыми удачными и яркими. Однако в общей массе они проигрывали версиям, сгенерированным нейросетью.

С полным текстом исследования, которое планируют представить на международной конференции 2025 International Conference on Intelligent User Interfaces в конце марта, можно ознакомиться на сервере препринтов arXiv.

Среди ограничений работы ученые упомянули наличие временных рамок в эксперименте, привлечение к оценке не экспертов, а добровольцев с краудсорсинговой платформы, а также неучитывание культурных особенностей восприятия юмора. Эти моменты следует принять во внимание в будущих исследованиях.