Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
Рейтинг: частота «галлюцинаций» у популярных моделей ИИ
«Галлюцинацией» называют ситуации, когда большая языковая модель утверждает нечто как факт, хотя информация ложна или не имеет оснований. Причина проста: стандартные методы обучения поощряют догадки, а не признание неопределенности. Представьте экзамен с вариантами ответов: угадав, вы с большей вероятностью получите балл, чем оставив вопрос пустым. С ИИ происходит то же самое.
Инфографика выше, основанная на последнем исследовании от Terzo, демонстрирует, как часто различные модели ИИ выдают ошибки.
Чтобы оценить склонность к «галлюцинациям», исследователи предложили моделям от ведущих компаний фрагменты новостных текстов. Задача была одна — определить оригинальную статью, издание и URL.
Эксперимент поставили таким образом, что обычный поиск Google по этим фрагментам возвращал исходный материал в числе первых трех результатов. Затем ответы моделей проверяли на точность.
Согласно данным тестов Grok-3 показал худший результат — «галлюцинировал» в 94% случаев. Perplexity, напротив, продемонстрировал наибольшую точность.
Любопытно, что платные версии моделей справились хуже, чем их бесплатные аналоги. И почти все модели не выражали сомнений, даже когда ошибались.
Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Telegram 
Дзен 
VK
Предстоящие мероприятия
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
Ученые впервые предоставили убедительные доказательства того, что в окаменелостях динозавров могут сохраняться биомолекулы, в частности эритроциты и компоненты гемоглобина. Это открытие опровергло устоявшееся представление о том, что за миллионы лет органика полностью разлагается.
Самцы бражников используют ультразвук, получающийся при трении половых органов о брюшко, для того, чтобы сбить с толку эхолокацию охотящихся на них летучих мышей. Согласно результатам нового исследования, за последние 30 миллионов лет способность «кричать» на хищников с помощью гениталий развивалась у этих насекомых как минимум семь раз
Физики изучили уравнения Эйнштейна в форме, похожей на уравнения плазмы, и построили математическую теорию «гравитационного пересоединения». В рамках нее по аналогии с разрывом и слипанием магнитных силовых линий в плазме гравитационные «листы» пространства-времени тоже могли бы разрываться и слипаться, передавая энергию из поля в вещество.
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
Ученые обнаружили новый удивительный вид небольших пернатых динозавров, которые специализировались на поедании фруктов. Эта уникальная находка показала, что древние ящеры могли играть важную роль в распространении семян цветковых растений — важнейшей экологической нише, которая считалась занятой исключительно ранними птицами и мелкими млекопитающими.
Физики изучили уравнения Эйнштейна в форме, похожей на уравнения плазмы, и построили математическую теорию «гравитационного пересоединения». В рамках нее по аналогии с разрывом и слипанием магнитных силовых линий в плазме гравитационные «листы» пространства-времени тоже могли бы разрываться и слипаться, передавая энергию из поля в вещество.
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
Ученые обнаружили новый удивительный вид небольших пернатых динозавров, которые специализировались на поедании фруктов. Эта уникальная находка показала, что древние ящеры могли играть важную роль в распространении семян цветковых растений — важнейшей экологической нише, которая считалась занятой исключительно ранними птицами и мелкими млекопитающими.
[miniorange_social_login]
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Комментарий на проверке
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
По e-mail
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно