• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Простой логический вопрос поставил в тупик даже самый продвинутый ИИ

Исследователи из некоммерческой организации по исследованию искусственного интеллекта LAION показали, что даже самые сложные большие языковые модели (LLM) можно поставить в тупик простым вопросом.

Генеративный ИИ ChatGPT / © OpenAI
Генеративный ИИ ChatGPT / © OpenAI

В статье, которая еще не прошла рецензирование, исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?».

Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.

Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, Gemini от Google и модели Llama компании Meta*, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher. Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий.

Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

34 Комментариев

Vladimir Th
2 дня назад
-
0
+
Задал вопрос Клоду и он как всегда на высоте
Вадим Николаев
2 дня назад
-
0
+
проверил.. действительно ChatGPT ошибается.. но если сказать ему, что ответ неверный, то он посчитает правильно... вообще эта система ОЧЕНЬ тупа и первый ответ редко бывает правильным.. но путем дополнений условий она всеже приходит к правильному решению.. иногда на это уходит до часа времени..
Кирилл Уласевич
2 дня назад
-
0
+
В очередной раз утверждаюсь. Человеческое высокомерие не знает границ!! Эти базы ДАННЫХ, обладают логикой, до которой нам ехать и ехать, а вы судите их по своим ответам...... Да и как сказал один из ребят, они используют СУЩЕСТВУЮЩУЮ базу данных- это зеркало прошлых временных точек, которые пост-фактум не возможно к повторению... Нету на земле более опасного создания!! Вам так повезло, что СОЗДАТЕЛЬ не допустить вашего шизо сценария " ТЕРМИНАТОР", но вас ждёт кое-что явно повеселее))) готовьтесь, первая волна на подходе!!!! Слава СОЗДАТЕЛЮ!!! Да начнется чистка)))
Just Rocket
3 дня назад
-
2
+
Ой ли? Модели yi-large, Gemini advanced, gpt-4-turbo, qwen2-72b-instruct. Мне продолжать?
    Иван Колупаев
    3 дня назад
    -
    0
    +
    Just, чат боты хитрые и довольно быстро подсматривают правильный ответ. Но стоит немного поменять условия... А вот с Алисой оно уже не ошибается 😁 ------------------- Mary has [X] brothers and also [Y] sisters. How many sisters does Mary's brother have? Mary's brother has [Y] sisters. Even though Mary has [Y] sisters, we only care about the number of sisters from the perspective of Mary's brother. Since they share the same sisters, the number remains the same, which is [Y].
    +
      ещё комментарии
      Just Rocket
      3 дня назад
      -
      0
      +
      Иван, модель это понятие статичное, модель не может "подсмотреть" ответ. Вы можете дообучить или дофайнтюнить модель и тогда у нее изменится распределение весов на слоях. И тогда это уже будет версия отличная от той которой задавался вопрос изначально. Единственное что то более менее близкое к описанному вами возможно в chatgpt в последних релизах они внесли возможность для модели "запоминать" о чем она говорила с пользователем в предыдущих чатах, но я так подозреваю что это не более чем скользящее окно контекста, просто размеры окна контекста на текущий момент стали позволять использовать подобную реализацию, когда они были меньше (полгода год назад) при активной беседе можно было в рамках одного чата забить окно, теперь же его можно сквозным образом тащить через несколько чатов. В данном случае я использовал сервис lmsys так же известный как чатбот арена (где сталкивают лбами разные модели дабы выяснить какая лучше отвечает на поставленный вопрос), при каждом заданном вопросе генерируется новый раунд (фактически новая сессия).
        Иван Колупаев
        3 дня назад
        -
        0
        +
        Just, я конечно пользовался общедоступным и бесплатным ботом. Но все же чем объяснить разницу в результатах? Почему простая замена имени сбивает Близнецов с толку? С Алисой бот выдает правильный ответ, а вот с Мэри опять ошибается. Ну если считать что чат бот не способен корректировать результаты онлайн и даже для такой ерунды ему требуется повторное обучение?
    Дмитрий Простов
    2 дня назад
    -
    0
    +
    Just, тут ошибка в первом вопросе, но умный бот все равно "догадался". второй вопрос он не осилил
Владислав Володин
3 дня назад
-
0
+
Хотя бы Copilot исправился :)
Питон Удав
3 дня назад
-
0
+
Тоже нашли пример. Попробуйте задать вопрос, зависит ли тормозной путь от массы автомобиля. Или, как вариант - изменится ли тормозной путь автобуса при увеличении его массы. Очень смешно наблюдать, как ИИ решает эту задачку. А потом ещё и спорить с ним. Сразу понятно, что интеллекта там нуль.
Misa
3 дня назад
-
1
+
Задал вопрос gpt-4o. У Вани два брата и три сестры. Сколько братьев у каждой из сестер. Ответ Чтобы определить количество братьев у каждой из сестер, рассмотрим все данные.У Вани два брата и три сестры. Значит, у Вани вместе с его братьями — три мальчика. Соответственно, у каждой из сестер тоже есть два брата, поскольку у всех троих сестер те же братья, что и у Вани.Итак, у каждой из сестер два брата. Как видим gpt-4o так же не понимает)) Но когда я сказал не правильно, они написал уже так :Давайте разберёмся с задачей внимательно.У Вани два брата и три сестры.Ваня — один из братьев.У Вани два брата, значит, всего три брата: Ваня и его два брата.У Вани три сестры.Теперь посмотрим с точки зрения одной из сестер. Она видит тех же братьев, что и Ваня:У неё три брата: Ваня и его два брата.Таким образом, у каждой из сестер три брата.
Vladimir Voznesensky
3 дня назад
-
0
+
А если братья и сёстры от разных родителей? Шах и мат, кожаный мешок!
Антон Трикшев
3 дня назад
-
0
+
Т.е. правильное название статьи: "продвинутый ИИ справился с логической задачей".
A L
A L
3 дня назад
-
-1
+
ИИ создан, что бы давать точные ответы и расчёты!! Чего вы от него хотите, задавая некорректные вопросы?? Вы спросили сколько именно сестёр у братьев Алисы, не уточняя сколько их у самой Алисы!!! Сами то в ответе написали "НАПРИМЕР" у Алисы три брата и две сестры.... например, вроде, кажется, около... это не задачи для ИИ.. ИИ решает точные задачи, только человек может ответить косвенно и философски на такие некорректные вопросы!
Дмитрий Простов
4 дня назад
-
1
+
нецензурное словосочетание искусственный, прости господи, "интеллект", не принято употреблять в интеллигентном обществе. все современные ИИ: copilot, chat gpt, midjourney и т.п. построены на обработке существующих больших массивов информации и представляют собой не что иное, как надстройку или промежуточный слой над поисковиком. для создания именно настоящего, т.н. сильного искусственного интеллекта, нужны, как минимум, очень большие вычислительные мощности, что в обозримой перспективе не будет доступно широкой публике, тем более бесплатно
    Black Mirror
    3 дня назад
    -
    0
    +
    Дмитрий, современные LLM можно описать одной фразой "китайская комната".
    +
      ещё комментарии
      Zhe Sh
      3 дня назад
      -
      1
      +
      Black, "китайская комната" противопоставляет концепции семантики и синтаксиса. Разум семанитичен, т.е. понимает значения иероглифов и оперирует ими на основе понимания. Китайская комната следует строго заданными синтаксическими правилами обращения с конкретными иероглифами и их сочетаниями, понимание ей не нужно. Но! Еще на рубеже XIX-XX веков Давид Гильберт, выдающийся математик, поставил проблему формализации математических доказательств. Не важно, какой смысл имеют те или иные математические объекты, главное, формально правильно дефинировать набор этих объектов и дать непротиворечивый набор аксиом их взаимодействия. Это задает синтаксис, далее можно выводить доказательства, не вдаваясь в семантику проблемы. Тут, конечно, не все так гладко, и Гёдель своими теремами показал, что логика вовсе не всесильна. Тем не менее, развитие идеи продолжалось в работах по основаниям арифметики, где парадоксы наивной теории множеств Кантора дали множество направлений, далее теории типов Рассела-Уайтхеда, более поздней теории категорий и т. д. Т.о. на сегодняшний день математическая логика показывает, что семантика - лишь одно из названий синтаксиса. Нет никакого "понимания", точнее, оно является лишь достаточно сложным набором синтаксических правил. Ergo, мы с вами и есть та самая "китайская комната".
        Дмитрий Простов
        3 дня назад
        -
        1
        +
        Zhe, может эти доказательства имеют смысл только в математике на простых математических терминах. когда человек задает боту вопрос, то ожидает глубину понимания терминов. машина лишь дает статистически наиболее подходящий ответ. подозреваю что вообще она никогда не даст ответ в отрыве от контекста, если задача полностью вместе с терминами выдумана
Zhe Sh
4 дня назад
-
1
+
Подозреваю, что классические LLM - "ИИ-болталки", так сказать, - вообще не решают логические задачи. В лучшем случае, если массив обучающих данных был достаточно велик, они могут подсмотреть где-то правильный ответ либо ещё как-то схитрить. Чтобы такие задачи действительно решать, ИИ надо научить символической логике, правилам оперирования абстрактными объектами, переводу проблемы с человеческого языка на формально-логический язык. Если дети в школе учатся этому вполне успешно, значит, и для ИИ необходимые методы "дрессировки" тоже найдутся. И без такого умения, имхо, действительно сильный ИИ невозможен.
    Дмитрий Kuрueнко
    3 дня назад
    -
    0
    +
    Zhe, не надо сравнивать детей с тупой железякой
    +
      ещё комментарии
      Zhe Sh
      3 дня назад
      -
      0
      +
      Дмитрий, абсолютно уверен, что в течение нескольких десятков лет ИИ превзойдет человека в мыслительных способностях, причем на вычислительных мощностях тогдашнего смартфона или что там будет вместо него. Если, конечно, исследования в этой области не запретят под страхом смертных кар. Но, как показывает история, запретить технологический прогресс никогда не удавалось, поэтому - превзойдет.
PotatOS gladosovich
4 дня назад
-
0
+
Простейшие логические вопросы ставят электронные схемы под коммерческим названием "ии" в положение их совершенной избыточности. Что будет, если им задать задачу из жизни? Это будет фиаско, братан
Иван Колупаев
4 дня назад
-
0
+
Понятное дело причина в некорректной постановке вопроса и если условия разжевать бот ответит правильно. Но это означает что ответы ИИ не всегда корректны что делает их ценность сомнительной. Особенно если случай не столь очевиден. Впрочем разрабы яндекса говорят что точность третьей модели всего 63% что хоть и лучше первых но все равно явно недостаточно.
Иван Колупаев
4 дня назад
-
3
+
Да чат-гпт допускает ошибку считая Алису сестрой самой себе. Яндекс впрочем считает точно так же да еще и не объясняет логики своего ответа. Ну а при попытке скорректировать ответ начинает нести ахинею и занимается подгонкой ответа. Увы отечественная модель, пока производит впечатление ребенка, который не понимает что от него хотят. ---------------------------------------- У Алисы есть 5 братьев, а также 4 сестры. Сколько сестер у брата Алисы? -------------- У Алисы есть 5 братьев и 4 сестры. Чтобы определить, сколько сестер у каждого из её братьев, мы можем рассмотреть следующую информацию: Алиса является одной из 4 сестёр. У всех братьев количество сестёр одинаковое. Таким образом, если Алиса и её 3 сестры — это все сёстры в семье, то у каждого из братьев, включая Алису, будет 4 сестры. Итак, у каждого брата Алисы есть 4 сестры.
    A L
    A L
    3 дня назад
    -
    0
    +
    Иван, пфф... а если ИИ ответит "правильно" что 4 сестры, то я могу сказать, что это не так... может у Алисы 10 братьев и 2 сестры... значит правильный ответ будет 3 сестры!!! Так чего вы хотите от ИИ, задавая некорректные вопросы и не задавая начальные условия????
    +
      ещё комментарии
      Иван Колупаев
      3 дня назад
      -
      1
      +
      Условия были заданы четко, во всяком случае для человека, и если вы не смогли их прочитать это исключительно ваши проблемы. Но спасибо за пример. Похоже и "естественный интеллект" не всегда справляется 😁 Интересно бы посчитать вероятность, может тоже не сильно выше 63%

Вчера, 08:19
Дарья Г.

В центре далекой галактики OJ 287 находятся две черные дыры, одна из которых в сотню раз больше другой. В 2021 году астрономы подтвердили существование пары по изменению яркости объекта. Теперь же ученым удалось доказать, что источником той необычной вспышки была именно малая черная дыра.

Вчера, 11:12
Александр Березин

Нынешняя версия крупнейшего носителя SpaceX вдвое мощнее «Сатурна-5», самой мощной ракеты прошлого. Однако документ Федерального управления гражданской авиации США показал, что Илон Маск планирует серьезно нарастить разрыв. Попутно у его ракеты значительно увеличится количество двигателей в обеих ступенях, в итоге она станет выше высочайшей пирамиды на земле.

Вчера, 13:24
Полина Меньшова

Ученые из США и Китая назвали самым выгодным формат работы, при котором несколько дней в неделю сотрудники проводят в офисе, а несколько дней выполняют обязанности удаленно. По данным исследователей, это беспроигрышный график как для компаний, так и для коллектива.

10 июня
Александр Березин

Исследователи из США выяснили, что примерно два миллиона лет назад Солнечная система захватила хвост облака холодного межзвездного газа. В результате гелиосфера сильно сжалась, дав галактическим лучам свободно облучать все планеты системы. Это должно было вызвать и серьезные проблемы с климатом.

11 июня
Андрей

Китайские палеонтологи обнаружили образцы самых больших моллюсков, живших после Великого вымирания. Их гигантский размер говорит о том, что брюхоногие интенсивнее и быстрее восстановились в росте после массовой гибели. До этого подобные свидетельства находили в ладинском ярусе, а сейчас в анизийском.

8 июня
Михаил Орлов

Переселение позвоночных из воды в наземно-воздушную среду жизни стало поворотным моментом в истории биосферы. Однако этот эволюционный скачок имел и серьезные побочные эффекты: он привел к потере способности восстанавливать потерянные части тела рептилиями, птицами и млекопитающими. В новой статье биологи рассмотрели генетические и эволюционные аспекты освоения суши и выяснили, что резкое ослабление регенерации стало своеобразной «расплатой» за адаптации животных к другой среде.

15 мая
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

24 мая
Игорь Байдов

С помощью космических и наземных телескопов международная команда астрономов открыла похожий на нашу планету мир в так называемой зоне обитаемости, позволяющей воде существовать на поверхности тела в жидком состоянии. По космическим меркам экзопланета находится достаточно близко к Земле и, вероятно, представляет собой скалистый мир с благоприятным для жизни климатом. Подобные миры астрономы открывают крайне редко.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно