• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.06.2024
Полина Меньшова
2
3 879

ChatGPT прошел пятиминутный тест Тьюринга

5.4

Люди приняли бот ChatGPT-4 за человека во время пятиминутной текстовой переписки в 54% случаев. Однако у результатов эксперимента есть ряд ограничений.

Кадр из сериала «Черное зеркало» / © netflix.com

Тест Тьюринга считается способом проверить сходство искусственного интеллекта с человеком. Его суть в том, что если во время разговора с языковой моделью люди путают ее с человеком или не могут однозначно сказать, кто их собеседник, то поведение модели приближено к человеческому. При этом сам математик Алан Тьюринг, разработавший тест в начале 1950-х, отмечал его несовершенство. Ученый говорил, что для ИИ лучший способ выдать себя за человека — не отвечать на вопросы собеседника, а уклоняться от них, отшучиваться, переспрашивать. Именно такое поведение кажется людям более естественным, хотя в подобных ситуациях явно не демонстрируются сложность и многогранность мышления, свойственные «неискусственному» интеллекту.

Тем не менее тест Тьюринга остается важным инструментом при оценке возможностей ИИ, а его успешное прохождение — одной из целей, которые ставят перед новыми языковыми моделями. Появились даже несколько его разновидностей: они различаются как задачами, которые ставятся перед моделью и экспериментаторами, так и длительностью. Согласно работе ученых из Калифорнийского университета в Сан-Диего (США), справиться с пятиминутным тестом Тьюринга удалось боту ChatGPT-4 от компании OpenAI. Препринт с результатами соответствующего эксперимента появился на сайте arxiv.org.

В исследовании участвовали 402 человека, средний возраст которых составил 35 лет. Им предлагали в течение пяти минут переписываться со случайно подобранным собеседником. Это мог быть другой человек или одна из трех языковых моделей: ELIZA (созданная в 1966 году, способная имитировать поведение психолога и давшая название «эффекту ELIZA», при котором человек присваивает программе с текстовым интерфейсом человеческие качества вроде способности думать, понимать, сопереживать. — Прим. ред.), ChatGPT-3.5, ChatGPT-4. Задачей участников эксперимента было определить, с кем они общаются, и объяснить свое решение, а задачей языковых моделей — выдать себя за людей.

Бот ChatGPT-4 обманул людей в 54% случаев, при том что результат ChatGPT-3.5 составил 50%, а ELIZA — 22%. Верно идентифицировать человека участники исследования смогли в 67% случаев.

Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org
Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org

Исследователи отметили, что успех ChatGPT-4 говорит о значительном прогрессе в сфере искусственного интеллекта и о возможных проблемах, которые могут возникнуть, если языковые модели станет еще сложнее отличить от людей. С одной стороны, можно будет часть работы (например, клиентский сервис) делегировать машинам, с другой — участятся ситуации дезинформации и мошенничества с помощью технологий.

Тем не менее, говорят ученые, результаты недавнего эксперимента не только иллюстрируют достаточно высокую сложность и гибкость современных языковых моделей, но и напоминают об ограничениях теста Тьюринга. Участники исследования гораздо чаще судили о «человечности» собеседника не по полноте и точности ответа, а по стилю общения, чувству юмора и другим социально-эмоциональным характеристикам, которые не всегда соответствуют традиционным представлениям об интеллекте и его функциях. Кроме того, результаты более длительного эксперимента могли бы быть другими.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 11:04
НИУ ВШЭ

Научный консультант Международной лаборатории биоинформатики НИУ ВШЭ Алан Герберт предложил новое объяснение одной из нерешенных загадок биологии — происхождения генетического кода. Согласно исследованию, современный генетический код мог возникнуть благодаря самоорганизующимся молекулярным комплексам — тинкерам. Новую гипотезу автор выдвинул на основе анализа вторичных структур ДНК с помощью нейросети AlphaFold3.

26 марта
Дарья Г.

Остывшая после Большого взрыва Вселенная была наполнена холодным, нейтральным газом, заслонявшим свет звезд. К счастью, за космологическими Темными веками пришла эпоха реионизации. Первые звезды и галактики ионизировали межгалактическое пространство, и Вселенная вновь засияла. И вот ученые нашли древнейшую галактику, излучение которой реионизирует окружающий нейтральный газ.

Позавчера, 08:02
Юлия Трепалина

Во многих западных странах рождаемость снижается или стагнирует, но при этом статистика свидетельствует о росте числа собак-компаньонов. В результате в некоторых государствах, к примеру, в США, домашних псов уже больше, чем детей. О возможных причинах, стоящих за тенденцией, в новом исследовании размышляет Энико Кубиньи (Enikő Kubinyi), профессор и заведующая кафедрой этологии в Университета Этвёша Лоранда (Венгрия).

23 марта
Михаил Орлов

Крупные современные города России — продукт своеобразной эволюции. Их морфология может сочетать историческую застройку, советское наследие и здания времен рыночной экономики. Авторы новой статьи — ученые из ВШЭ и Института географии РАН — заинтересовались, насколько российские города соответствуют современной концепции 15-минутного города. Она описывает доступность инфраструктуры для жителей: могут ли те самостоятельно добраться (пешком или на велосипеде) до школ, больниц, театров и других необходимых заведений за четверть часа.

25 марта
Unitsky String Technologies Inc.

К современному транспорту и строениям предъявляются жесткие требования по остеклению. Оно должно обеспечивать безопасность, хорошую тепло- и шумоизоляцию, противостоять сложным погодным условиям. Белорусские инженеры предложили революционное решение — вакуумные модули остекления (ВМО), которые практически исключают теплопередачу за счет вакуумной прослойки между стеклами. Эта разработка особенно актуальна в контексте глобального тренда на энергоэффективность и экологичность транспортных средств.

22 марта
Михаил Орлов

Прежде чем на Земле появились привычные нам животные, ее населяли «черновики Бога». Это таинственные существа, жившие в эдиакарском периоде и совсем не похожие на своих преемников. В новом исследовании ученые описали 211 окаменелостей мелкой двусторонне-симметричной Parvancorina minchami, найденных у берегов Белого моря. Авторы сумели реконструировать рост и развитие парванкорины, а также оценили продолжительность ее жизни.

15 марта
Юлия Трепалина

Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

18 марта
Илья

Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.

[miniorange_social_login]

Комментарии

2 Комментария
В 54% случаев да еще и с ограничениями - не слишком-то впечатляюще
Задолбала эта великая новость. Уже из каждого утюга трубят о том, что бог-машина прошел тест тьюринга.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно