Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
OpenAI раскрыла причину «галлюцинаций» у ИИ
Специалисты OpenAI объяснили, почему модели ИИ иногда дают неверные ответы — так называемые «галлюцинации». Это устойчивая тенденция больших языковых моделей выдавать ответы, которые фактически могут быть неверны.
В недавно опубликованной статье группа исследователей OpenAI сообщила, что модели дают ошибочные ответы или «выдумывают» их, потому что при создании они вынуждены предугадывать результат. «Большие языковые модели оптимизированы для того, чтобы хорошо сдавать тесты, а угадывание в неопределенных ситуациях повышает результаты теста», — говорится в статье.
Традиционно выходные данные ИИ оцениваются просто: за правильный ответ — награда, за неправильный — наказание. Поэтому модель чаще делает догадку, потому что она может быть правильной, чем признает, что не знает ответа.
Из-за «естественного статистического давления» ИИ склонны придумывать ответ, вместо того чтобы признать свое незнание. В будущем многое будет зависеть от того, удастся ли эту проблему исправить.
OpenAI предлагает простое решение: перенастроить стимулы. Нужно поощрять адекватное проявление неуверенности и не наказывать за признание неизвестного. Это может уменьшить «галлюцинации» и открыть путь к более сложным языковым моделям с богатой прагматической компетенцией.
Как эти корректировки проявятся в реальном мире, пока неизвестно.
Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Telegram 
Дзен 
VK
Предстоящие мероприятия
Генетическая предрасположенность к раннему пробуждению усиливалась по мере расселения древних людей в северные широты. К такому выводу пришли авторы нового исследования, изучившие варианты генов, связанные с утренним хронотипом — склонностью раньше ложиться спать и раньше просыпаться.
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
В Малом Магеллановом Облаке нашли систему, в которой одна звезда уже превратилась в нейтронную, а вторая только готовится стать ей. Если пара переживет второй взрыв, через сотни миллионов лет нейтронные звезды столкнутся, потеряв часть массы через излучение гравитационных волн. Находка позволила астрономам подробно изучить промежуточный этап формирования таких пар. Прежде он оставался практически недоступным для наблюдений.
Физики изучили уравнения Эйнштейна в форме, похожей на уравнения плазмы, и построили математическую теорию «гравитационного пересоединения». В рамках нее по аналогии с разрывом и слипанием магнитных силовых линий в плазме гравитационные «листы» пространства-времени тоже могли бы разрываться и слипаться, передавая энергию из поля в вещество.
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
Ученые впервые предоставили убедительные доказательства того, что в окаменелостях динозавров могут сохраняться биомолекулы, в частности эритроциты и компоненты гемоглобина. Это открытие опровергло устоявшееся представление о том, что за миллионы лет органика полностью разлагается.
Физики изучили уравнения Эйнштейна в форме, похожей на уравнения плазмы, и построили математическую теорию «гравитационного пересоединения». В рамках нее по аналогии с разрывом и слипанием магнитных силовых линий в плазме гравитационные «листы» пространства-времени тоже могли бы разрываться и слипаться, передавая энергию из поля в вещество.
Луна и Солнце вызывают не только океанские приливы, но и микроскопические колебания гравитационного потенциала на Земле, из-за чего время в разных точках планеты течет с немного разной скоростью. Физики впервые зафиксировали эти периодические изменения с помощью сети оптических часов, объединенных оптоволоконными линиями.
Ученые обнаружили новый удивительный вид небольших пернатых динозавров, которые специализировались на поедании фруктов. Эта уникальная находка показала, что древние ящеры могли играть важную роль в распространении семян цветковых растений — важнейшей экологической нише, которая считалась занятой исключительно ранними птицами и мелкими млекопитающими.
[miniorange_social_login]
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Комментарий на проверке
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
По e-mail
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно