Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

82

Чат-боты реже исправляли ошибки, когда пользователи ругались

После первого замечания без ругани чат-бот исправлял ответ со следующей попытки в 35% случаев. Если в замечании были брань или оскорбления, доля исправлений составляла 24%. Такую разницу компания Searchable обнаружила в переписке американских пользователей с ChatGPT, Gemini и Claude.

ChatGPT на экране ноутбука / © Matheus Bertelli, лицензия Pexels
ChatGPT на экране ноутбука / © Matheus Bertelli, лицензия Pexels

Searchable изучила более восьми миллионов сообщений, которые участники исследования из США написали или надиктовали чат-ботам с 21 сентября 2025 года по 20 сентября 2026-го. Все участники согласились на сбор данных, переписки обезличили. При подсчете ругательств аналитики исключили длинные вставки из документов и кода.

Из переписок отобрали разговоры, в которых пользователь попросил что-то исправить. Даже резкое «это неверно» считалось обычным замечанием, если в нем не было брани или оскорблений. Исход оценивала отдельная ИИ-модель. Она читала диалог с момента жалобы до последней реплики и определяла, получил ли человек то, о чем просил.

Примерно четыре из пяти грубых сообщений в адрес бота содержали жалобу. В остальных пользователи шутили, поддразнивали бота или пытались его спровоцировать. Самым частым поводом для недовольства стала пропущенная инструкция.

Поводы для жалоб в переписке с чат-ботами. Данные Searchable / © Naked Science
Поводы для жалоб в переписке с чат-ботами. Данные Searchable / © Naked Science

Что происходило после замечания

К концу диалога бот исправил ответ в 41% случаев после замечания без ругани и в 31% после жалобы с бранью. Если проблему все же удавалось решить, на это уходило примерно одинаковое число ответов в обеих группах.

Участники нередко ругались, когда разговор уже не ладился. Если взять все жалобы с бранью, в 73% случаев человек уже жаловался или ругался в том же чате. Среди замечаний без брани таких было 43%. По этим перепискам нельзя установить, получил бы человек другой ответ, если бы сменил тон.

В отдельном эксперименте исследователи из Университета штата Пенсильвания задали четырем моделям одни и те же 570 вопросов с вариантами ответа, меняя тон запроса. GPT-5 nano ответила верно в среднем на 82% вопросов при нейтральной формулировке и на 71% при угрозах. У Gemini 2.5 Flash та же замена немного повысила точность — с 89,4 до 90,7%.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK

Комментарии

1 Комментарий
Предстоящие мероприятия
[miniorange_social_login]