Статья опубликована в журнале «Экспериментальная психология». Исследование проходило в виртуальной среде — киберпанковом кафе, где участники общались с аватаром девушки, управляемым нейросетью ChatGPT 3.5, дообученной на личных данных одной реальной студентки. В эксперименте участвовали шесть человек в возрасте 21-28 лет, а для сравнения взяли реальные диалоги двух пар молодых людей с похожим возрастом.
Основной вывод — диалоги с нейросетью сильно отличаются по структуре и динамике от человеческих разговоров. Прежде всего это заметно по длине реплик: в диалогах между людьми реплики становятся длиннее по мере беседы, они разнообразны по длине и содержанию. А у нейросети большая часть ответов — короткие, часто однословные фразы (41% однословных). Реплики ИИ преимущественно короткие и монотонные, 75% из них содержат не более 7 слов, в то время как люди говорят гораздо дольше — иногда одно высказывание достигает 19-48 слов.
Также выявилась ярко выраженная асимметрия ролей: человек в основном задает вопросы (66% его реплик — вопросы), а нейросеть отвечает, почти не проявляя инициативу и почти не задавая собственных вопросов (применяет их лишь в трех процентов случаев). При этом переходы слов между собеседниками часто проходят с паузами, порой длительностью до трех секунд — в человеческой беседе это создало бы неловкость.
Возникают коммуникативные трудности: нейросеть иногда дает ответы, не соответствующие теме диалога или даже полностью выбивающиеся из контекста. Это связано с конструкцией ИИ, который предсказывает слова в тексте на основе статистической вероятности того, что в данном месте в данном контексте встретится именно это слово, а не «понимает» глубокие смыслы. Испытуемые по-разному справлялись с такими сбоями: часто меняли тему или повторно пытались задать вопрос. Нейросеть не смогла прервать собеседника, что также ограничивает ее живой интерактив.
В целом нейросеть не способна к полноценной инициативе, к углублению темы или к развитию контекста так, как это могут сделать люди. Это связано и с техническими ограничениями алгоритмов, и с природой ИИ как программы, реагирующей на запросы, но не обладающей внутренней мотивацией или эмоциональным опытом.
Текущая версия ChatGPT все еще далека от живого человеческого общения — диалоги с ней пока носят форму вопросов и ответов с ограниченным разнообразием и глубиной. Но эксперимент закладывает фундамент для понимания, как улучшить искусственный интеллект, чтобы он стал ближе к реальному человеку в общении.
Ученые считают, что эти результаты важны для понимания, как строить более «человечные» диалоговые системы ИИ в будущем. Выделяются три направления развития: создание точных метрик для оценки естественности диалогов, улучшение систем, чтобы они могли проявлять больше инициативы и консультировать разнообразнее, а также изучение влияния таких структурных различий на опыт и восприятие пользователей.
Перспектива — повторить подобные исследования на более продвинутых моделях GPT-4o и GPT-o1, чтобы понять, исчезнут ли текущие ограничения. Возможно, со временем ИИ сможет не только имитировать речевое разнообразие и инициативу, но и стать полноценным партнером в социальных и профессиональных коммуникациях.
По мнению соавтора статьи, профессора МГППУ Владимира Селиванова, «формальные признаки коммуникации с GPT можно улучшать, но нейросеть никогда не достигнет тонких смысловых нюансов диалога между двумя субъектами. Поскольку у GPT нет тела, образы нейросети будут не телесными (как у человека). Наше мышление строится на образах, а «мышление» нейросети будет другим, смысловая ткань также будет «не телесной», кроме того, пока не моделируются бессознательные установки, интуиция, творческие процессы и другие компоненты мышления и психики. На кафедре общей психологии ведутся разработки психологии виртуальной реальности – наиболее приближенной модели к психике».
Исследование проведено магистром МГППУ Андреем Шамшевым и профессором МГППУ Владимиром Селивановым.