• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28 июня
Полина Меньшова
1
3 452

ChatGPT прошел пятиминутный тест Тьюринга

5.4

Люди приняли бот ChatGPT-4 за человека во время пятиминутной текстовой переписки в 54% случаев. Однако у результатов эксперимента есть ряд ограничений.

Кадр из сериала «Черное зеркало» / © netflix.com

Тест Тьюринга считается способом проверить сходство искусственного интеллекта с человеком. Его суть в том, что если во время разговора с языковой моделью люди путают ее с человеком или не могут однозначно сказать, кто их собеседник, то поведение модели приближено к человеческому. При этом сам математик Алан Тьюринг, разработавший тест в начале 1950-х, отмечал его несовершенство. Ученый говорил, что для ИИ лучший способ выдать себя за человека — не отвечать на вопросы собеседника, а уклоняться от них, отшучиваться, переспрашивать. Именно такое поведение кажется людям более естественным, хотя в подобных ситуациях явно не демонстрируются сложность и многогранность мышления, свойственные «неискусственному» интеллекту.

Тем не менее тест Тьюринга остается важным инструментом при оценке возможностей ИИ, а его успешное прохождение — одной из целей, которые ставят перед новыми языковыми моделями. Появились даже несколько его разновидностей: они различаются как задачами, которые ставятся перед моделью и экспериментаторами, так и длительностью. Согласно работе ученых из Калифорнийского университета в Сан-Диего (США), справиться с пятиминутным тестом Тьюринга удалось боту ChatGPT-4 от компании OpenAI. Препринт с результатами соответствующего эксперимента появился на сайте arxiv.org.

В исследовании участвовали 402 человека, средний возраст которых составил 35 лет. Им предлагали в течение пяти минут переписываться со случайно подобранным собеседником. Это мог быть другой человек или одна из трех языковых моделей: ELIZA (созданная в 1966 году, способная имитировать поведение психолога и давшая название «эффекту ELIZA», при котором человек присваивает программе с текстовым интерфейсом человеческие качества вроде способности думать, понимать, сопереживать. — Прим. ред.), ChatGPT-3.5, ChatGPT-4. Задачей участников эксперимента было определить, с кем они общаются, и объяснить свое решение, а задачей языковых моделей — выдать себя за людей.

Бот ChatGPT-4 обманул людей в 54% случаев, при том что результат ChatGPT-3.5 составил 50%, а ELIZA — 22%. Верно идентифицировать человека участники исследования смогли в 67% случаев.

Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org
Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org

Исследователи отметили, что успех ChatGPT-4 говорит о значительном прогрессе в сфере искусственного интеллекта и о возможных проблемах, которые могут возникнуть, если языковые модели станет еще сложнее отличить от людей. С одной стороны, можно будет часть работы (например, клиентский сервис) делегировать машинам, с другой — участятся ситуации дезинформации и мошенничества с помощью технологий.

Тем не менее, говорят ученые, результаты недавнего эксперимента не только иллюстрируют достаточно высокую сложность и гибкость современных языковых моделей, но и напоминают об ограничениях теста Тьюринга. Участники исследования гораздо чаще судили о «человечности» собеседника не по полноте и точности ответа, а по стилю общения, чувству юмора и другим социально-эмоциональным характеристикам, которые не всегда соответствуют традиционным представлениям об интеллекте и его функциях. Кроме того, результаты более длительного эксперимента могли бы быть другими.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 14:02
Татьяна

Больше 10 лет Curiosity ищет свидетельства обитаемости Марсе. В его арсенале — инструменты для анализа горных пород и минералов, сформированных в эпохи, когда Красная планета была пригодна для органической жизни. И вот новое открытие: на пути к пику Шарп в ударном кратере Гейла марсоход впервые обнаружил кристаллы серы — необходимого строительного элемента белков.

17 июля
Игорь Байдов

Команда китайских инженеров разработала модель магнитоэлектрического генератора, способного эффективно преобразовывать энергию падающих капель в электричество. Устройство может быть полезно для районов с повышенной сезонной влажностью. Разработка ученых в теории выглядит перспективно, но вызывает некоторые вопросы. В частности, пока не ясно, можно ли найти ей практическое применение.

Вчера, 11:31
ПНИПУ

День металлурга в 2024 году россияне отмечают 21 июля. Ученые Пермского Политеха рассказали, какой металл самый распространенный, какой — не утонет в воде, где можно встретить титан, можно ли потрогать обедненный уран, что опаснее — вдохнуть или проглотить ртуть, есть ли ее безопасный аналог и какой элемент не существует в чистом виде.

15 июля
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

16 июля
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

16 июля
Татьяна

Аппарат «Кассини», работавший на орбите Сатурна с 2004 по 2017 год, детально картировал его крупнейший спутник — Титан. Выяснилось, что ближе к полярным областям на поверхности есть моря и озера с жидкими углеводородами, куда впадают пополняемые атмосферными осадками реки. По мере изучения этой информации у исследователей возникло все больше вопросов. Каков состав жидкости и что определило очертания береговых линий? Воспользовавшись данными радарной съемки, американские ученые уточнили состав морей Кракена, Лигеи и Пунги и описали свойства их поверхностей.

25 июня
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

[miniorange_social_login]

Комментарии

1 Комментарий
Дмитрий Дегтярев
2 недели назад
-
0
+
Задолбала эта великая новость. Уже из каждого утюга трубят о том, что бог-машина прошел тест тьюринга.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно