ИИ добрался до онлайн-опросов: социологи объяснили, чем это грозит

❋ 4.8

Растущая популярность инструментов генеративного ИИ осложняет работу исследователей, использующих онлайн-опросы. Ученые из США попытались оценить масштабы проблемы и в эксперименте выяснить, какие черты отличают человеческие ответы от сгенерированных нейросетью.

Технологии

# ChatGPT

# генеративные нейронные сети

# искусственный интеллект

# исследования

# научные публикации

# опросы

С появлением ChatGPT и схожих сервисов исследователи стали замечать, что некоторые развернутые комментарии в опросах выглядят, как «нечеловеческие» / © June Wan, ZDNET

Тему возможного искажения исследований из-за применения в опросах чат-ботов на базе искусственного интеллекта вроде ChatGPT подняла Джанет Сюй (Janet Xu) из Стэнфордской высшей школы бизнеса. Ее соавторами по статье, текст которой доступен на сайте SocArXiv, стали социолог Симона Чжан (Simone Zhang) из Нью-Йоркского университета и специалист по информационным наукам Эй Джей Альверо ( AJ Alvero) из Корнеллского университета.

При проведении крупных опросов нередко прибегают к онлайн-платформам, таким как Prolific или Amazon Mechanical Turk. Их участники за плату или подарочные сертификаты предоставляют данные о себе и заполняют необходимые анкеты. Однако с появлением ChatGPT и схожих сервисов исследователи стали замечать, что некоторые развернутые комментарии в таких опросах выглядят как «нечеловеческие». К примеру, кажутся слишком подробными или утрированно корректными.

Услышав такого рода подозрения от кого-то из коллег, Джанет Сюй решила разобраться в вопросе. Для этого она вместе с другими учеными организовала онлайн-опрос примерно 800 зарегистрированных участников Prolific о том, пользуются ли они ИИ-инструментами при написании ответов. Респондентам пообещали, что информация не повлияет на право участвовать в будущих исследованиях.

В итоге в подобной практике призналась примерно треть опрошенных, из которых 10% сообщили, что делают это очень часто. Две трети участников заявили, что никогда не применяют ChatGPT для генерации ответов, объяснив это моральными соображениями и опасениями повлиять на достоверность исследований.

Чтобы увидеть, чем разнятся человеческие ответы и сгенерированные компьютером, исследователи воспользовались данными опросов из трех научных работ, написанных до появления ChatGPT. Эти результаты сопоставили с ответами, которые получили с помощью нейронных сетей.

Сравнение показало, что люди, как правило, использовали конкретные и эмоционально окрашенные выражения, порой с уничижительным оттенком. Формулировки от ИИ, напротив, выглядели нейтральными и абстрактными, а когда речь шла об отдельных социальных группах в деликатных темах — более корректными и сглаженными.

Хотя результаты исследования показали, что применение ИИ в опросах еще не успело приобрести большие масштабы, ученые выразили тревогу по поводу такой возможности. Если люди станут пользоваться подобными инструментами не просто для того, чтобы лучше сформулировать мысль, а будут полностью подменять ответы сгенерированными, это исказит реальную картину, сделает ее более однородной.

Исследователи пока не увидели оснований для исправлений или отзыва уже вышедших работ из-за возможного влияния ИИ, но призвали коллег внимательно относиться к качеству получаемых в опросах данных.

Авторы новой статьи отметили, что в качестве превентивной меры можно прямо просить респондентов не использовать ИИ или встраивать в онлайн-формы для анкетирования специальный код, блокирующий копирование и вставку текста. Также ученые призвали лучше прорабатывать опросники, делать их более краткими, четкими и понятными, чтобы у людей не возникало соблазна прибегнуть к ИИ.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.

Автор занимается освещением тем в области психологии и гуманитарных наук. Пишет о поведении человека, социальных процессах, языке, культуре и мышлении.