• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Простой логический вопрос поставил в тупик даже самый продвинутый ИИ

Исследователи из некоммерческой организации по исследованию искусственного интеллекта LAION показали, что даже самые сложные большие языковые модели (LLM) можно поставить в тупик простым вопросом.

Генеративный ИИ ChatGPT / © OpenAI
Генеративный ИИ ChatGPT / © OpenAI

В статье, которая еще не прошла рецензирование, исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?».

Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.

Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, Gemini от Google и модели Llama компании Meta*, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher. Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий.

Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

36 Комментариев
Vladimir Th
2 недели назад
-
0
+
Задал вопрос Клоду и он как всегда на высоте
Вадим Николаев
2 недели назад
-
0
+
проверил.. действительно ChatGPT ошибается.. но если сказать ему, что ответ неверный, то он посчитает правильно... вообще эта система ОЧЕНЬ тупа и первый ответ редко бывает правильным.. но путем дополнений условий она всеже приходит к правильному решению.. иногда на это уходит до часа времени..
Кирилл Уласевич
2 недели назад
-
0
+
В очередной раз утверждаюсь. Человеческое высокомерие не знает границ!! Эти базы ДАННЫХ, обладают логикой, до которой нам ехать и ехать, а вы судите их по своим ответам...... Да и как сказал один из ребят, они используют СУЩЕСТВУЮЩУЮ базу данных- это зеркало прошлых временных точек, которые пост-фактум не возможно к повторению... Нету на земле более опасного создания!! Вам так повезло, что СОЗДАТЕЛЬ не допустить вашего шизо сценария " ТЕРМИНАТОР", но вас ждёт кое-что явно повеселее))) готовьтесь, первая волна на подходе!!!! Слава СОЗДАТЕЛЮ!!! Да начнется чистка)))
Just Rocket
2 недели назад
-
2
+
Ой ли? Модели yi-large, Gemini advanced, gpt-4-turbo, qwen2-72b-instruct. Мне продолжать?
    Иван Колупаев
    2 недели назад
    -
    0
    +
    Just, чат боты хитрые и довольно быстро подсматривают правильный ответ. Но стоит немного поменять условия... А вот с Алисой оно уже не ошибается 😁 ------------------- Mary has [X] brothers and also [Y] sisters. How many sisters does Mary's brother have? Mary's brother has [Y] sisters. Even though Mary has [Y] sisters, we only care about the number of sisters from the perspective of Mary's brother. Since they share the same sisters, the number remains the same, which is [Y].
    +
      ещё комментарии
      Just Rocket
      2 недели назад
      -
      0
      +
      Иван, модель это понятие статичное, модель не может "подсмотреть" ответ. Вы можете дообучить или дофайнтюнить модель и тогда у нее изменится распределение весов на слоях. И тогда это уже будет версия отличная от той которой задавался вопрос изначально. Единственное что то более менее близкое к описанному вами возможно в chatgpt в последних релизах они внесли возможность для модели "запоминать" о чем она говорила с пользователем в предыдущих чатах, но я так подозреваю что это не более чем скользящее окно контекста, просто размеры окна контекста на текущий момент стали позволять использовать подобную реализацию, когда они были меньше (полгода год назад) при активной беседе можно было в рамках одного чата забить окно, теперь же его можно сквозным образом тащить через несколько чатов. В данном случае я использовал сервис lmsys так же известный как чатбот арена (где сталкивают лбами разные модели дабы выяснить какая лучше отвечает на поставленный вопрос), при каждом заданном вопросе генерируется новый раунд (фактически новая сессия).
        Иван Колупаев
        2 недели назад
        -
        0
        +
        Just, я конечно пользовался общедоступным и бесплатным ботом. Но все же чем объяснить разницу в результатах? Почему простая замена имени сбивает Близнецов с толку? С Алисой бот выдает правильный ответ, а вот с Мэри опять ошибается. Ну если считать что чат бот не способен корректировать результаты онлайн и даже для такой ерунды ему требуется повторное обучение?
    Дмитрий Простов
    2 недели назад
    -
    0
    +
    Just, тут ошибка в первом вопросе, но умный бот все равно "догадался". второй вопрос он не осилил
Владислав Володин
2 недели назад
-
0
+
Хотя бы Copilot исправился :)
Питон Удав
2 недели назад
-
0
+
Тоже нашли пример. Попробуйте задать вопрос, зависит ли тормозной путь от массы автомобиля. Или, как вариант - изменится ли тормозной путь автобуса при увеличении его массы. Очень смешно наблюдать, как ИИ решает эту задачку. А потом ещё и спорить с ним. Сразу понятно, что интеллекта там нуль.
Misa
2 недели назад
-
1
+
Задал вопрос gpt-4o. У Вани два брата и три сестры. Сколько братьев у каждой из сестер. Ответ Чтобы определить количество братьев у каждой из сестер, рассмотрим все данные.У Вани два брата и три сестры. Значит, у Вани вместе с его братьями — три мальчика. Соответственно, у каждой из сестер тоже есть два брата, поскольку у всех троих сестер те же братья, что и у Вани.Итак, у каждой из сестер два брата. Как видим gpt-4o так же не понимает)) Но когда я сказал не правильно, они написал уже так :Давайте разберёмся с задачей внимательно.У Вани два брата и три сестры.Ваня — один из братьев.У Вани два брата, значит, всего три брата: Ваня и его два брата.У Вани три сестры.Теперь посмотрим с точки зрения одной из сестер. Она видит тех же братьев, что и Ваня:У неё три брата: Ваня и его два брата.Таким образом, у каждой из сестер три брата.
Vladimir Voznesensky
2 недели назад
-
-1
+
А если братья и сёстры от разных родителей? Шах и мат, кожаный мешок!
Антон Трикшев
2 недели назад
-
0
+
Т.е. правильное название статьи: "продвинутый ИИ справился с логической задачей".
A L
A L
2 недели назад
-
-1
+
ИИ создан, что бы давать точные ответы и расчёты!! Чего вы от него хотите, задавая некорректные вопросы?? Вы спросили сколько именно сестёр у братьев Алисы, не уточняя сколько их у самой Алисы!!! Сами то в ответе написали "НАПРИМЕР" у Алисы три брата и две сестры.... например, вроде, кажется, около... это не задачи для ИИ.. ИИ решает точные задачи, только человек может ответить косвенно и философски на такие некорректные вопросы!
Дмитрий Простов
2 недели назад
-
1
+
нецензурное словосочетание искусственный, прости господи, "интеллект", не принято употреблять в интеллигентном обществе. все современные ИИ: copilot, chat gpt, midjourney и т.п. построены на обработке существующих больших массивов информации и представляют собой не что иное, как надстройку или промежуточный слой над поисковиком. для создания именно настоящего, т.н. сильного искусственного интеллекта, нужны, как минимум, очень большие вычислительные мощности, что в обозримой перспективе не будет доступно широкой публике, тем более бесплатно
    Black Mirror
    2 недели назад
    -
    0
    +
    Дмитрий, современные LLM можно описать одной фразой "китайская комната".
    +
      ещё комментарии
      Zhe Sh
      2 недели назад
      -
      1
      +
      Black, "китайская комната" противопоставляет концепции семантики и синтаксиса. Разум семанитичен, т.е. понимает значения иероглифов и оперирует ими на основе понимания. Китайская комната следует строго заданными синтаксическими правилами обращения с конкретными иероглифами и их сочетаниями, понимание ей не нужно. Но! Еще на рубеже XIX-XX веков Давид Гильберт, выдающийся математик, поставил проблему формализации математических доказательств. Не важно, какой смысл имеют те или иные математические объекты, главное, формально правильно дефинировать набор этих объектов и дать непротиворечивый набор аксиом их взаимодействия. Это задает синтаксис, далее можно выводить доказательства, не вдаваясь в семантику проблемы. Тут, конечно, не все так гладко, и Гёдель своими теремами показал, что логика вовсе не всесильна. Тем не менее, развитие идеи продолжалось в работах по основаниям арифметики, где парадоксы наивной теории множеств Кантора дали множество направлений, далее теории типов Рассела-Уайтхеда, более поздней теории категорий и т. д. Т.о. на сегодняшний день математическая логика показывает, что семантика - лишь одно из названий синтаксиса. Нет никакого "понимания", точнее, оно является лишь достаточно сложным набором синтаксических правил. Ergo, мы с вами и есть та самая "китайская комната".
        Дмитрий Простов
        2 недели назад
        -
        1
        +
        Zhe, может эти доказательства имеют смысл только в математике на простых математических терминах. когда человек задает боту вопрос, то ожидает глубину понимания терминов. машина лишь дает статистически наиболее подходящий ответ. подозреваю что вообще она никогда не даст ответ в отрыве от контекста, если задача полностью вместе с терминами выдумана
Zhe Sh
2 недели назад
-
1
+
Подозреваю, что классические LLM - "ИИ-болталки", так сказать, - вообще не решают логические задачи. В лучшем случае, если массив обучающих данных был достаточно велик, они могут подсмотреть где-то правильный ответ либо ещё как-то схитрить. Чтобы такие задачи действительно решать, ИИ надо научить символической логике, правилам оперирования абстрактными объектами, переводу проблемы с человеческого языка на формально-логический язык. Если дети в школе учатся этому вполне успешно, значит, и для ИИ необходимые методы "дрессировки" тоже найдутся. И без такого умения, имхо, действительно сильный ИИ невозможен.
    Дмитрий Kuрueнко
    2 недели назад
    -
    0
    +
    Zhe, не надо сравнивать детей с тупой железякой
    +
      ещё комментарии
      Zhe Sh
      2 недели назад
      -
      0
      +
      Дмитрий, абсолютно уверен, что в течение нескольких десятков лет ИИ превзойдет человека в мыслительных способностях, причем на вычислительных мощностях тогдашнего смартфона или что там будет вместо него. Если, конечно, исследования в этой области не запретят под страхом смертных кар. Но, как показывает история, запретить технологический прогресс никогда не удавалось, поэтому - превзойдет.
PotatOS gladosovich
2 недели назад
-
0
+
Простейшие логические вопросы ставят электронные схемы под коммерческим названием "ии" в положение их совершенной избыточности. Что будет, если им задать задачу из жизни? Это будет фиаско, братан
Иван Колупаев
2 недели назад
-
0
+
Понятное дело причина в некорректной постановке вопроса и если условия разжевать бот ответит правильно. Но это означает что ответы ИИ не всегда корректны что делает их ценность сомнительной. Особенно если случай не столь очевиден. Впрочем разрабы яндекса говорят что точность третьей модели всего 63% что хоть и лучше первых но все равно явно недостаточно.
Иван Колупаев
2 недели назад
-
3
+
Да чат-гпт допускает ошибку считая Алису сестрой самой себе. Яндекс впрочем считает точно так же да еще и не объясняет логики своего ответа. Ну а при попытке скорректировать ответ начинает нести ахинею и занимается подгонкой ответа. Увы отечественная модель, пока производит впечатление ребенка, который не понимает что от него хотят. ---------------------------------------- У Алисы есть 5 братьев, а также 4 сестры. Сколько сестер у брата Алисы? -------------- У Алисы есть 5 братьев и 4 сестры. Чтобы определить, сколько сестер у каждого из её братьев, мы можем рассмотреть следующую информацию: Алиса является одной из 4 сестёр. У всех братьев количество сестёр одинаковое. Таким образом, если Алиса и её 3 сестры — это все сёстры в семье, то у каждого из братьев, включая Алису, будет 4 сестры. Итак, у каждого брата Алисы есть 4 сестры.
    A L
    A L
    2 недели назад
    -
    0
    +
    Иван, пфф... а если ИИ ответит "правильно" что 4 сестры, то я могу сказать, что это не так... может у Алисы 10 братьев и 2 сестры... значит правильный ответ будет 3 сестры!!! Так чего вы хотите от ИИ, задавая некорректные вопросы и не задавая начальные условия????
    +
      ещё комментарии
      Иван Колупаев
      2 недели назад
      -
      1
      +
      Условия были заданы четко, во всяком случае для человека, и если вы не смогли их прочитать это исключительно ваши проблемы. Но спасибо за пример. Похоже и "естественный интеллект" не всегда справляется 😁 Интересно бы посчитать вероятность, может тоже не сильно выше 63%
Предстоящие мероприятия
Вчера, 11:02
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

Вчера, 19:42
Мария Азарова

Авторы нового исследования изучили, как стиль воспитания косвенно — через уровень стресса — влияет на то, что впоследствии ребенок будет подвержен эпизодическому пьянству и проблемам, связанным с алкоголем. Результаты оказались довольно неожиданными.

Вчера, 11:01
НИУ ВШЭ

Ученые из Института высшей нервной деятельности и нейрофизиологии РАН и НИУ ВШЭ выяснили, как формируются основы грамотности. Для этого они сравнили процессы распознавания ошибок в трех возрастных группах: у детей 8–10 лет, подростков 11–14 лет и взрослых. Эксперимент показал, что орфографическая чувствительность у ребенка появляется в начальной школе и продолжает развиваться как минимум до 14 лет. До этого возраста дети хуже, чем подростки и взрослые, распознают ошибки в словах.

Вчера, 11:02
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

Позавчера, 13:10
Полина Меньшова

Хотя доступ к словам, синтаксическим структурам и нелингвистическим символам способен облегчить некоторые когнитивные процессы, язык вряд ли можно считать основой любой формы мышления. К такому выводу пришли ученые из США, проанализировав данные исследований за последние 20 лет.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

Вчера, 11:02
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно