• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.06.2024
Полина Меньшова
2
3 879

ChatGPT прошел пятиминутный тест Тьюринга

5.4

Люди приняли бот ChatGPT-4 за человека во время пятиминутной текстовой переписки в 54% случаев. Однако у результатов эксперимента есть ряд ограничений.

Кадр из сериала «Черное зеркало» / © netflix.com

Тест Тьюринга считается способом проверить сходство искусственного интеллекта с человеком. Его суть в том, что если во время разговора с языковой моделью люди путают ее с человеком или не могут однозначно сказать, кто их собеседник, то поведение модели приближено к человеческому. При этом сам математик Алан Тьюринг, разработавший тест в начале 1950-х, отмечал его несовершенство. Ученый говорил, что для ИИ лучший способ выдать себя за человека — не отвечать на вопросы собеседника, а уклоняться от них, отшучиваться, переспрашивать. Именно такое поведение кажется людям более естественным, хотя в подобных ситуациях явно не демонстрируются сложность и многогранность мышления, свойственные «неискусственному» интеллекту.

Тем не менее тест Тьюринга остается важным инструментом при оценке возможностей ИИ, а его успешное прохождение — одной из целей, которые ставят перед новыми языковыми моделями. Появились даже несколько его разновидностей: они различаются как задачами, которые ставятся перед моделью и экспериментаторами, так и длительностью. Согласно работе ученых из Калифорнийского университета в Сан-Диего (США), справиться с пятиминутным тестом Тьюринга удалось боту ChatGPT-4 от компании OpenAI. Препринт с результатами соответствующего эксперимента появился на сайте arxiv.org.

В исследовании участвовали 402 человека, средний возраст которых составил 35 лет. Им предлагали в течение пяти минут переписываться со случайно подобранным собеседником. Это мог быть другой человек или одна из трех языковых моделей: ELIZA (созданная в 1966 году, способная имитировать поведение психолога и давшая название «эффекту ELIZA», при котором человек присваивает программе с текстовым интерфейсом человеческие качества вроде способности думать, понимать, сопереживать. — Прим. ред.), ChatGPT-3.5, ChatGPT-4. Задачей участников эксперимента было определить, с кем они общаются, и объяснить свое решение, а задачей языковых моделей — выдать себя за людей.

Бот ChatGPT-4 обманул людей в 54% случаев, при том что результат ChatGPT-3.5 составил 50%, а ELIZA — 22%. Верно идентифицировать человека участники исследования смогли в 67% случаев.

Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org
Только в одной из четырех переписок участвовали два человека. Остальные диалоги — результат общения человека и одной из трех языковых моделей / © Cameron R. Jones et al., UC San Diego, arxiv.org

Исследователи отметили, что успех ChatGPT-4 говорит о значительном прогрессе в сфере искусственного интеллекта и о возможных проблемах, которые могут возникнуть, если языковые модели станет еще сложнее отличить от людей. С одной стороны, можно будет часть работы (например, клиентский сервис) делегировать машинам, с другой — участятся ситуации дезинформации и мошенничества с помощью технологий.

Тем не менее, говорят ученые, результаты недавнего эксперимента не только иллюстрируют достаточно высокую сложность и гибкость современных языковых моделей, но и напоминают об ограничениях теста Тьюринга. Участники исследования гораздо чаще судили о «человечности» собеседника не по полноте и точности ответа, а по стилю общения, чувству юмора и другим социально-эмоциональным характеристикам, которые не всегда соответствуют традиционным представлениям об интеллекте и его функциях. Кроме того, результаты более длительного эксперимента могли бы быть другими.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
6 часов назад
Татьяна

Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.

11 часов назад
Игорь Байдов

В архивах английского поместья столетиями пылилась ничем не примечательная книга учета XVI века. Никто не подозревал, что внутри ее переплета скрываются фрагменты пергамента с историями, которые переписывали монахи семь веков назад. Тайна раскрылась, когда архивариус заметил странные символы на обложке. Так началось расследование, объединившее разных ученых. Исследователи три года пытались прочитать текст, не прикасаясь к нему. Теперь они представили результат своего труда — мир получил два ранее неизвестных эпизода о волшебнике Мерлине, короле Артуре и рыцаре Гавейне.

10 часов назад
Мария Азарова

Группа биологов и медиков из Австралии, Сингапура и Китая обнаружила, что белок MCL-1 играет критическую роль в выживании стволовых клеток волосяных фолликулов. Без него клетки погибают, что приводит к остановке регенерации и роста волос.

27 марта
Сколтех

Ученые из Сколтеха исследовали разнообразие молекул, которые могут образовываться из атомов кислорода и углерода. Помимо широко известных углекислого и угарного газов, моделирование обнаружило две сотни экзотических, но относительно стабильных соединений этих двух элементов, многие из которых не были описаны ранее. Этот класс веществ представляет интерес для исследований космоса, аккумуляторных технологий, биохимии и — неожиданным образом — для разработки промышленной взрывчатки и ракетного топлива. Как оказалось, некоторые из открытых веществ при распаде будут высвобождать более 75 процентов взрывной энергии тротила.

6 часов назад
Татьяна

Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.

11 часов назад
Игорь Байдов

В архивах английского поместья столетиями пылилась ничем не примечательная книга учета XVI века. Никто не подозревал, что внутри ее переплета скрываются фрагменты пергамента с историями, которые переписывали монахи семь веков назад. Тайна раскрылась, когда архивариус заметил странные символы на обложке. Так началось расследование, объединившее разных ученых. Исследователи три года пытались прочитать текст, не прикасаясь к нему. Теперь они представили результат своего труда — мир получил два ранее неизвестных эпизода о волшебнике Мерлине, короле Артуре и рыцаре Гавейне.

15 марта
Юлия Трепалина

Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

18 марта
Илья

Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.

[miniorange_social_login]

Комментарии

2 Комментария
В 54% случаев да еще и с ограничениями - не слишком-то впечатляюще
Задолбала эта великая новость. Уже из каждого утюга трубят о том, что бог-машина прошел тест тьюринга.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно