• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Простой логический вопрос поставил в тупик даже самый продвинутый ИИ

Исследователи из некоммерческой организации по исследованию искусственного интеллекта LAION показали, что даже самые сложные большие языковые модели (LLM) можно поставить в тупик простым вопросом.

Генеративный ИИ ChatGPT / © OpenAI
Генеративный ИИ ChatGPT / © OpenAI

В статье, которая еще не прошла рецензирование, исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?».

Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.

Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, Gemini от Google и модели Llama компании Meta*, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher. Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий.

Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

34 Комментариев

Vladimir Th
4 дня назад
-
0
+
Задал вопрос Клоду и он как всегда на высоте
Вадим Николаев
5 дней назад
-
0
+
проверил.. действительно ChatGPT ошибается.. но если сказать ему, что ответ неверный, то он посчитает правильно... вообще эта система ОЧЕНЬ тупа и первый ответ редко бывает правильным.. но путем дополнений условий она всеже приходит к правильному решению.. иногда на это уходит до часа времени..
Кирилл Уласевич
5 дней назад
-
0
+
В очередной раз утверждаюсь. Человеческое высокомерие не знает границ!! Эти базы ДАННЫХ, обладают логикой, до которой нам ехать и ехать, а вы судите их по своим ответам...... Да и как сказал один из ребят, они используют СУЩЕСТВУЮЩУЮ базу данных- это зеркало прошлых временных точек, которые пост-фактум не возможно к повторению... Нету на земле более опасного создания!! Вам так повезло, что СОЗДАТЕЛЬ не допустить вашего шизо сценария " ТЕРМИНАТОР", но вас ждёт кое-что явно повеселее))) готовьтесь, первая волна на подходе!!!! Слава СОЗДАТЕЛЮ!!! Да начнется чистка)))
Just Rocket
6 дней назад
-
2
+
Ой ли? Модели yi-large, Gemini advanced, gpt-4-turbo, qwen2-72b-instruct. Мне продолжать?
    Иван Колупаев
    6 дней назад
    -
    0
    +
    Just, чат боты хитрые и довольно быстро подсматривают правильный ответ. Но стоит немного поменять условия... А вот с Алисой оно уже не ошибается 😁 ------------------- Mary has [X] brothers and also [Y] sisters. How many sisters does Mary's brother have? Mary's brother has [Y] sisters. Even though Mary has [Y] sisters, we only care about the number of sisters from the perspective of Mary's brother. Since they share the same sisters, the number remains the same, which is [Y].
    +
      ещё комментарии
      Just Rocket
      5 дней назад
      -
      0
      +
      Иван, модель это понятие статичное, модель не может "подсмотреть" ответ. Вы можете дообучить или дофайнтюнить модель и тогда у нее изменится распределение весов на слоях. И тогда это уже будет версия отличная от той которой задавался вопрос изначально. Единственное что то более менее близкое к описанному вами возможно в chatgpt в последних релизах они внесли возможность для модели "запоминать" о чем она говорила с пользователем в предыдущих чатах, но я так подозреваю что это не более чем скользящее окно контекста, просто размеры окна контекста на текущий момент стали позволять использовать подобную реализацию, когда они были меньше (полгода год назад) при активной беседе можно было в рамках одного чата забить окно, теперь же его можно сквозным образом тащить через несколько чатов. В данном случае я использовал сервис lmsys так же известный как чатбот арена (где сталкивают лбами разные модели дабы выяснить какая лучше отвечает на поставленный вопрос), при каждом заданном вопросе генерируется новый раунд (фактически новая сессия).
        Иван Колупаев
        5 дней назад
        -
        0
        +
        Just, я конечно пользовался общедоступным и бесплатным ботом. Но все же чем объяснить разницу в результатах? Почему простая замена имени сбивает Близнецов с толку? С Алисой бот выдает правильный ответ, а вот с Мэри опять ошибается. Ну если считать что чат бот не способен корректировать результаты онлайн и даже для такой ерунды ему требуется повторное обучение?
    Дмитрий Простов
    4 дня назад
    -
    0
    +
    Just, тут ошибка в первом вопросе, но умный бот все равно "догадался". второй вопрос он не осилил
Владислав Володин
6 дней назад
-
0
+
Хотя бы Copilot исправился :)
Питон Удав
6 дней назад
-
0
+
Тоже нашли пример. Попробуйте задать вопрос, зависит ли тормозной путь от массы автомобиля. Или, как вариант - изменится ли тормозной путь автобуса при увеличении его массы. Очень смешно наблюдать, как ИИ решает эту задачку. А потом ещё и спорить с ним. Сразу понятно, что интеллекта там нуль.
Misa
6 дней назад
-
1
+
Задал вопрос gpt-4o. У Вани два брата и три сестры. Сколько братьев у каждой из сестер. Ответ Чтобы определить количество братьев у каждой из сестер, рассмотрим все данные.У Вани два брата и три сестры. Значит, у Вани вместе с его братьями — три мальчика. Соответственно, у каждой из сестер тоже есть два брата, поскольку у всех троих сестер те же братья, что и у Вани.Итак, у каждой из сестер два брата. Как видим gpt-4o так же не понимает)) Но когда я сказал не правильно, они написал уже так :Давайте разберёмся с задачей внимательно.У Вани два брата и три сестры.Ваня — один из братьев.У Вани два брата, значит, всего три брата: Ваня и его два брата.У Вани три сестры.Теперь посмотрим с точки зрения одной из сестер. Она видит тех же братьев, что и Ваня:У неё три брата: Ваня и его два брата.Таким образом, у каждой из сестер три брата.
Vladimir Voznesensky
6 дней назад
-
-1
+
А если братья и сёстры от разных родителей? Шах и мат, кожаный мешок!
Антон Трикшев
6 дней назад
-
0
+
Т.е. правильное название статьи: "продвинутый ИИ справился с логической задачей".
A L
A L
6 дней назад
-
-1
+
ИИ создан, что бы давать точные ответы и расчёты!! Чего вы от него хотите, задавая некорректные вопросы?? Вы спросили сколько именно сестёр у братьев Алисы, не уточняя сколько их у самой Алисы!!! Сами то в ответе написали "НАПРИМЕР" у Алисы три брата и две сестры.... например, вроде, кажется, около... это не задачи для ИИ.. ИИ решает точные задачи, только человек может ответить косвенно и философски на такие некорректные вопросы!
Дмитрий Простов
6 дней назад
-
1
+
нецензурное словосочетание искусственный, прости господи, "интеллект", не принято употреблять в интеллигентном обществе. все современные ИИ: copilot, chat gpt, midjourney и т.п. построены на обработке существующих больших массивов информации и представляют собой не что иное, как надстройку или промежуточный слой над поисковиком. для создания именно настоящего, т.н. сильного искусственного интеллекта, нужны, как минимум, очень большие вычислительные мощности, что в обозримой перспективе не будет доступно широкой публике, тем более бесплатно
    Black Mirror
    6 дней назад
    -
    0
    +
    Дмитрий, современные LLM можно описать одной фразой "китайская комната".
    +
      ещё комментарии
      Zhe Sh
      6 дней назад
      -
      1
      +
      Black, "китайская комната" противопоставляет концепции семантики и синтаксиса. Разум семанитичен, т.е. понимает значения иероглифов и оперирует ими на основе понимания. Китайская комната следует строго заданными синтаксическими правилами обращения с конкретными иероглифами и их сочетаниями, понимание ей не нужно. Но! Еще на рубеже XIX-XX веков Давид Гильберт, выдающийся математик, поставил проблему формализации математических доказательств. Не важно, какой смысл имеют те или иные математические объекты, главное, формально правильно дефинировать набор этих объектов и дать непротиворечивый набор аксиом их взаимодействия. Это задает синтаксис, далее можно выводить доказательства, не вдаваясь в семантику проблемы. Тут, конечно, не все так гладко, и Гёдель своими теремами показал, что логика вовсе не всесильна. Тем не менее, развитие идеи продолжалось в работах по основаниям арифметики, где парадоксы наивной теории множеств Кантора дали множество направлений, далее теории типов Рассела-Уайтхеда, более поздней теории категорий и т. д. Т.о. на сегодняшний день математическая логика показывает, что семантика - лишь одно из названий синтаксиса. Нет никакого "понимания", точнее, оно является лишь достаточно сложным набором синтаксических правил. Ergo, мы с вами и есть та самая "китайская комната".
        Дмитрий Простов
        5 дней назад
        -
        1
        +
        Zhe, может эти доказательства имеют смысл только в математике на простых математических терминах. когда человек задает боту вопрос, то ожидает глубину понимания терминов. машина лишь дает статистически наиболее подходящий ответ. подозреваю что вообще она никогда не даст ответ в отрыве от контекста, если задача полностью вместе с терминами выдумана
Zhe Sh
6 дней назад
-
1
+
Подозреваю, что классические LLM - "ИИ-болталки", так сказать, - вообще не решают логические задачи. В лучшем случае, если массив обучающих данных был достаточно велик, они могут подсмотреть где-то правильный ответ либо ещё как-то схитрить. Чтобы такие задачи действительно решать, ИИ надо научить символической логике, правилам оперирования абстрактными объектами, переводу проблемы с человеческого языка на формально-логический язык. Если дети в школе учатся этому вполне успешно, значит, и для ИИ необходимые методы "дрессировки" тоже найдутся. И без такого умения, имхо, действительно сильный ИИ невозможен.
    Дмитрий Kuрueнко
    6 дней назад
    -
    0
    +
    Zhe, не надо сравнивать детей с тупой железякой
    +
      ещё комментарии
      Zhe Sh
      6 дней назад
      -
      0
      +
      Дмитрий, абсолютно уверен, что в течение нескольких десятков лет ИИ превзойдет человека в мыслительных способностях, причем на вычислительных мощностях тогдашнего смартфона или что там будет вместо него. Если, конечно, исследования в этой области не запретят под страхом смертных кар. Но, как показывает история, запретить технологический прогресс никогда не удавалось, поэтому - превзойдет.
PotatOS gladosovich
7 дней назад
-
0
+
Простейшие логические вопросы ставят электронные схемы под коммерческим названием "ии" в положение их совершенной избыточности. Что будет, если им задать задачу из жизни? Это будет фиаско, братан
Иван Колупаев
7 дней назад
-
0
+
Понятное дело причина в некорректной постановке вопроса и если условия разжевать бот ответит правильно. Но это означает что ответы ИИ не всегда корректны что делает их ценность сомнительной. Особенно если случай не столь очевиден. Впрочем разрабы яндекса говорят что точность третьей модели всего 63% что хоть и лучше первых но все равно явно недостаточно.
Иван Колупаев
7 дней назад
-
3
+
Да чат-гпт допускает ошибку считая Алису сестрой самой себе. Яндекс впрочем считает точно так же да еще и не объясняет логики своего ответа. Ну а при попытке скорректировать ответ начинает нести ахинею и занимается подгонкой ответа. Увы отечественная модель, пока производит впечатление ребенка, который не понимает что от него хотят. ---------------------------------------- У Алисы есть 5 братьев, а также 4 сестры. Сколько сестер у брата Алисы? -------------- У Алисы есть 5 братьев и 4 сестры. Чтобы определить, сколько сестер у каждого из её братьев, мы можем рассмотреть следующую информацию: Алиса является одной из 4 сестёр. У всех братьев количество сестёр одинаковое. Таким образом, если Алиса и её 3 сестры — это все сёстры в семье, то у каждого из братьев, включая Алису, будет 4 сестры. Итак, у каждого брата Алисы есть 4 сестры.
    A L
    A L
    6 дней назад
    -
    0
    +
    Иван, пфф... а если ИИ ответит "правильно" что 4 сестры, то я могу сказать, что это не так... может у Алисы 10 братьев и 2 сестры... значит правильный ответ будет 3 сестры!!! Так чего вы хотите от ИИ, задавая некорректные вопросы и не задавая начальные условия????
    +
      ещё комментарии
      Иван Колупаев
      6 дней назад
      -
      1
      +
      Условия были заданы четко, во всяком случае для человека, и если вы не смогли их прочитать это исключительно ваши проблемы. Но спасибо за пример. Похоже и "естественный интеллект" не всегда справляется 😁 Интересно бы посчитать вероятность, может тоже не сильно выше 63%

Вчера, 13:37
Александр Березин

Пока премьер-министр Армении Никол Пашинян считает, что гражданам его страны надо отказаться от претензий на ранее населенные ими земли в современной Турции, Азербайджан на государственном уровне действует «исторически проактивно» — противоположным образом. Там есть и «Общество Западного Азербайджана», и даже канал «Западный Азербайджан ТВ». Находятся желающие назвать азербайджанцев преемниками кавказских албанов и даже заявить претензии на земли к западу от Азербайджана, где находится современная Армения. Разбираемся, насколько все это правда и есть ли этому научные обоснования?

14 июня
Алиса Гаджиева

Авторы нового междисциплинарного исследования выяснили, как распределялись ресурсы в сообществе земледельцев и скотоводов одной из альпийских долин семь тысяч лет назад.

Вчера, 12:40
Андрей

Палеонтологи при помощи новой методики изучили антенны древних муравьев, замурованных в янтаре, и обнаружили у них органы чувств, способные улавливать феромоны. Это доказывает, что социальность этих насекомых существовала с возникновения семейства.

Вчера, 13:37
Александр Березин

Пока премьер-министр Армении Никол Пашинян считает, что гражданам его страны надо отказаться от претензий на ранее населенные ими земли в современной Турции, Азербайджан на государственном уровне действует «исторически проактивно» — противоположным образом. Там есть и «Общество Западного Азербайджана», и даже канал «Западный Азербайджан ТВ». Находятся желающие назвать азербайджанцев преемниками кавказских албанов и даже заявить претензии на земли к западу от Азербайджана, где находится современная Армения. Разбираемся, насколько все это правда и есть ли этому научные обоснования?

11 июня
Андрей

Китайские палеонтологи обнаружили образцы самых больших моллюсков, живших после Великого вымирания. Их гигантский размер говорит о том, что брюхоногие интенсивнее и быстрее восстановились в росте после массовой гибели. До этого подобные свидетельства находили в ладинском ярусе, а сейчас в анизийском.

14 июня
Алиса Гаджиева

Авторы нового междисциплинарного исследования выяснили, как распределялись ресурсы в сообществе земледельцев и скотоводов одной из альпийских долин семь тысяч лет назад.

24 мая
Игорь Байдов

С помощью космических и наземных телескопов международная команда астрономов открыла похожий на нашу планету мир в так называемой зоне обитаемости, позволяющей воде существовать на поверхности тела в жидком состоянии. По космическим меркам экзопланета находится достаточно близко к Земле и, вероятно, представляет собой скалистый мир с благоприятным для жизни климатом. Подобные миры астрономы открывают крайне редко.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

10 июня
Александр Березин

Исследователи из США выяснили, что примерно два миллиона лет назад Солнечная система захватила хвост облака холодного межзвездного газа. В результате гелиосфера сильно сжалась, дав галактическим лучам свободно облучать все планеты системы. Это должно было вызвать и серьезные проблемы с климатом.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно