Самый большой научпоп канал
Подписаться
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
01.08.2023
Василий Парфенов
1
3 948

GPT-3 выполнил тест на мышление аналогиями лучше студентов колледжа

4.5

Американские психологи проверили способность большой языковой модели GPT-3 решать незнакомые для нее задачи методом аналогии. Это классический подход к определению интеллектуального развития людей, и нейросетевой алгоритм показал себя с неожиданной стороны. Он дал больше правильных ответов в адаптированном тесте стандартными прогрессивными матрицами Рейвена, чем студенты старших курсов колледжа.

GPT-3 прошел тест на интеллект
Кадр из фильма «Из машины» (Ex machina, 2014) / ©A24, Universal Pictures International / Автор: Pinaria Caprarius

Заставлять нейросети делать что-нибудь, для чего они изначально не предназначались — интересное развлечение, с которым после открытия доступа к языковым моделям вроде ChatGPT познакомился едва ли не каждый пользователь интернета. Однако подобные действия могут иметь и вполне научное обоснование. Тестируя генеративный искусственный интеллект на грани его возможностей, ученые ищут способы познания человеческого разума.

Пожалуй, самое впечатляющее в алгоритмах семейства GPT-3 — их способность решать те или иные новые задачи с минимум примеров (Zero-shot). Главное — описать проблему текстом.

Такая механика мышления — изучить один-два образца, провести аналогию с новой, совсем незнакомой, но похожей ситуацией и найти из нее выход — называется аналоговым, или аналогичным, рассуждением (analogical reasoning). Имеется в виду «рассуждение» как часть мышления, а не вербализация. И считается, что это уникальная особенность людей. Может быть, еще и некоторых наиболее интеллектуально развитых видов животных.

Исследователи из Калифорнийского университета в Лос-Анджелесе (UCLA) задались вопросом, действительно ли GPT-3 может рассуждать по аналогии. Для этого они выбрали задачи, с которыми модель точно не встречалась во время обучения.

Ученые адаптировали для работающего с текстом искусственного интеллекта проверенные временем карточки теста стандартными прогрессивными матрицами Рейвена.

GPT-3 прошел тест на интеллект
Пример задачи, построенной по принципу стандартных прогрессивных матриц Рейвена / © arXiv:2206.14187

Это серии изображений из девяти элементов, сгруппированных по три, с пропущенной девятой ячейкой. Испытуемому предлагается выбрать из нескольких вариантов ответа правильный. Фигуры имеют несколько свойств, которые в каждом ряду изменяются по набору правил. Чтобы ответить верно, нужно, глядя на первые два ряда, определить правила и, проведя аналогию, применить их к третьему ряду. На словах непросто, но визуально воспринимается легко (смотрите иллюстрацию). С каждым следующим заданием сложность возрастает.

Поскольку GPT-3 не мультимодальная модель, то есть умеет работать только с текстом, матрицы адаптировали, но принцип остался тот же. В качестве контрольной группы выступали учащиеся колледжа UCLA. И они проиграли искусственному интеллекту.

Студенты дали чуть менее 60 процентов правильных ответов (нормальный уровень), GPT-3 — 80 процентов (больше среднего для людей, но в рамках нормы). Как отметили авторы исследования, алгоритм совершал те же ошибки, что и человек. Иными словами, высока вероятность, что процесс принятия решений был очень похожим.

В дополнение к матрицам Рейвена исследователи дали алгоритму задачи из стандартизированного теста для приема в высшие учебные заведения США (SAT). Большая часть его вариантов никогда не публиковалась в открытом доступе, так что GPT-3, скорее всего, с ними тоже не знаком.

Модель показала высокие результаты (наравне или лучше контрольной группы людей) в заданиях вида «„любовь“ для „ненависти“ — то же, что „богатство“ для этого слова, какого?» (правильный ответ — «бедности»). Таким образом, алгоритм должен был понять, что от него требуется найти в этом случае антоним, без прямого указания на то.

Ожидаемо GPT-3 хорошо решил и более трудные вопросы, в которых аналогии нужно было провести между целыми предложениями или абзацами. А вот где модель предсказуемо села в лужу, так это в задачах на пространственное мышление.

Даже если подробно описать проблему вроде «чем лучше переложить жевательные конфеты из одной миски в другую — трубкой, ножницами или лентой», алгоритм предлагал бессмысленные тексты в ответ.

GPT-3 прошел тест на интеллект
Образец использовавшихся в исследовании тестов. Слева (a) — один из вариантов стандартных прогрессивных матриц Рейвена, справа (b) — его изоморфный (построенный по тому же набору правил) аналог в текстовом формате / © https://doi.org/10.1038/s41562-023-01659-w

Проведенное американскими психологами исследование на новом уровне поднимает вопрос: имитируют ли большие языковые модели ряд аспектов человеческого мышления, либо перед нами совершенно новый тип мышления? Во втором случае сама собой напрашивается аналогия со знаменитым философским концептом «призрака в машине». По одной из его интерпретаций, достаточно сложноустроенная искусственная система (машина) может обретать новые непредвиденные свойства, которые со стороны будут неотличимы от человеческого сознания.

У научной работы есть два существенных ограничения, на которые ее авторы справедливо указывают. В первую очередь, несмотря на старания исследователей, нет никаких гарантий, что GPT-3 во время обучения сталкивался с задачами, похожими на вышеописанные. Наименее вероятно, что модель тренировали на текстовых представлениях прогрессивных матриц Рейвена. Наиболее — что какие-то варианты SAT могли встречаться в наборе данных для обучения.

Из этого вытекает вторая проблема: ученые не обладают доступом к «внутренностям» модели, из-за чего процессы ее «мышления» представляют собой черный ящик. А это сдерживает нейронауки в развитии.

Научная статья с подробным описанием исследования опубликована в журнале Nature Human Behaviour. Ее препринт (неотрецензированная версия) размещен в открытом доступе на портале arXiv.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
mostly harmless Есть телега: https://t.me/tempest_exults
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
10 июня
Редакция Naked Science

Онлайн-шопинг, доставка еды, мобильный банкинг и стриминг кино — часть повседневности. Мы почти не задумываемся, что делает все это возможным. Ответ — облачные технологии. За каждой покупкой, переводом или просмотром фильма работает невидимая инфраструктура, без которой современные цифровые сервисы попросту остановились бы. Рассказываем, как облака изменили нашу цифровую жизнь и стали незаметным мотором современной экономики.

9 часов назад
Александр Березин

В рамках новой модели вспышки сверхновых существенно нарушили парниковый эффект на нашей планете. Это должно приводить к похолоданиям и даже вымиранию отдельных видов.

10 июня
Редакция Naked Science

Сегодня в облаке запускают продукты, тестируют гипотезы, обучают ИИ-модели, автоматизируют бухгалтерию и разворачивают сервисы и приложения на сотни тысяч пользователей. Когда мы говорим, что бизнес «уходит в облако», мы имеем в виду не красивую метафору, а вполне конкретную практику — аренду инфраструктуры, вычислительных мощностей и приложений у провайдера, который отвечает за их надежную работу.

9 июня
Александр Березин

2020-е годы показали, что любая система международной торговли может быть разрушена в кратчайшие сроки. Ученые решили выяснить, какие государства в таких условиях смогут прокормить свое население, а какие — не совсем. Лидером, что неожиданно, оказалось очень небольшое государство с населением менее миллиона человек.

9 июня
Адель Романенкова

Инженер Эррол Маск заявил, что одновременно с вопросом о межпланетном перелете автоматически возникает вопрос о возвращении астронавтов на Землю.

10 июня
Редакция Naked Science

Онлайн-шопинг, доставка еды, мобильный банкинг и стриминг кино — часть повседневности. Мы почти не задумываемся, что делает все это возможным. Ответ — облачные технологии. За каждой покупкой, переводом или просмотром фильма работает невидимая инфраструктура, без которой современные цифровые сервисы попросту остановились бы. Рассказываем, как облака изменили нашу цифровую жизнь и стали незаметным мотором современной экономики.

5 июня
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

22 мая
ПНИПУ

Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.

26 мая
Unitsky String Technologies Inc.

Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.

[miniorange_social_login]

Комментарии

1 Комментарий
-
0
+
Я однозначно проиграю ей. В разгадыаании кубиков, кружёчков, треугольников, да хоть в ЕГЭ и подобном всём. Но если победитель окажется со мной в природе. Дикой. Разные встречи могут произойти. Дикая природа, животные, люди!!! Если произойдёт какой либо катаклизм,... Не факт, что этот персонаж выживет. И я смогу его спасти.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно