Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
OpenAI раскрыла причину «галлюцинаций» у ИИ
Специалисты OpenAI объяснили, почему модели ИИ иногда дают неверные ответы — так называемые «галлюцинации». Это устойчивая тенденция больших языковых моделей выдавать ответы, которые фактически могут быть неверны.
В недавно опубликованной статье группа исследователей OpenAI сообщила, что модели дают ошибочные ответы или «выдумывают» их, потому что при создании они вынуждены предугадывать результат. «Большие языковые модели оптимизированы для того, чтобы хорошо сдавать тесты, а угадывание в неопределенных ситуациях повышает результаты теста», — говорится в статье.
Традиционно выходные данные ИИ оцениваются просто: за правильный ответ — награда, за неправильный — наказание. Поэтому модель чаще делает догадку, потому что она может быть правильной, чем признает, что не знает ответа.
Из-за «естественного статистического давления» ИИ склонны придумывать ответ, вместо того чтобы признать свое незнание. В будущем многое будет зависеть от того, удастся ли эту проблему исправить.
OpenAI предлагает простое решение: перенастроить стимулы. Нужно поощрять адекватное проявление неуверенности и не наказывать за признание неизвестного. Это может уменьшить «галлюцинации» и открыть путь к более сложным языковым моделям с богатой прагматической компетенцией.
Как эти корректировки проявятся в реальном мире, пока неизвестно.
1,2 тыс
Telegram 
Дзен 
VK Предстоящие мероприятия
Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.
МС-21-310 — импортозамещенная версия российского пассажирского самолета МС-21. Вскоре он появится на отечественных аэродромах, пообещали в «Ростехе». Также госкорпорация опубликовала видео, на котором можно увидеть процесс строительства этого авиалайнера.
Физические нагрузки помогают головному мозгу очищаться от метаболического «мусора» — токсичных белков, которые с возрастом провоцируют нейродегенеративные заболевания. В условиях, когда от деменции страдают миллионы людей, а эффективного лечения до сих пор нет, ученые нашли способ замедлить увядание мозга с помощью тренировок.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.
Британские экологи выяснили, что большинство людей не догадываются о вреде солнцезащитных кремов для Мирового океана. Обзор научной литературы и локальный уличный опрос наглядно продемонстрировали разрыв между реальными экологическими угрозами и повседневными привычками покупателей.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Комментарий на проверке
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
По e-mail
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии