Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

15.09.2025, 07:19

Рейтинг: +482

Посты: 1028

OpenAI раскрыла причину «галлюцинаций» у ИИ

Специалисты OpenAI объяснили, почему модели ИИ иногда дают неверные ответы — так называемые «галлюцинации». Это устойчивая тенденция больших языковых моделей выдавать ответы, которые фактически могут быть неверны.

Сообщество

# OpenAI

# ИИ

# нейросети

# технологии

ChatGPT / © OpenAI

В недавно опубликованной статье группа исследователей OpenAI сообщила, что модели дают ошибочные ответы или «выдумывают» их, потому что при создании они вынуждены предугадывать результат. «Большие языковые модели оптимизированы для того, чтобы хорошо сдавать тесты, а угадывание в неопределенных ситуациях повышает результаты теста», — говорится в статье.

Традиционно выходные данные ИИ оцениваются просто: за правильный ответ — награда, за неправильный — наказание. Поэтому модель чаще делает догадку, потому что она может быть правильной, чем признает, что не знает ответа.

Из-за «естественного статистического давления» ИИ склонны придумывать ответ, вместо того чтобы признать свое незнание. В будущем многое будет зависеть от того, удастся ли эту проблему исправить.

OpenAI предлагает простое решение: перенастроить стимулы. Нужно поощрять адекватное проявление неуверенности и не наказывать за признание неизвестного. Это может уменьшить «галлюцинации» и открыть путь к более сложным языковым моделям с богатой прагматической компетенцией.

Как эти корректировки проявятся в реальном мире, пока неизвестно.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Дзен

Популярное

За сутки

За неделю

За месяц

28 января, 10:50

Игорь Байдов

В Мексике нашли небольшого динозавра, решавшего споры лбом

Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.

Палеонтология

# динозавры

# древние виды

# древние животные

# меловой период

29 января, 19:38

Александр Березин

Исчезновение морского льда на Шпицбергене не помешало белым медведям растолстеть

Некоторые исследователи предполагали, что по мере исчезновения морского льда белые медведи потеряют кормовую базу и начнут умирать от истощения. Однако их популяция, живущая в районе максимального исчезновения морского льда, напротив, существенно прибавила в весе.

Биология

# арктика

# белые медведи

# глобальное потепление

# Шпицберген

30 января, 14:05

Игорь Байдов

Детеныши зауроподов спасали хищников юрского периода от голодной смерти

Авторы нового исследования с помощью комплексного моделирования восстановили пищевую цепь древних хищников поздней юры и определили ее самое уязвимое звено.

Палеонтология

# динозавры

# древние виды

# зауроподы

# тероподы

# Юрский период

28 января, 10:50

Игорь Байдов

В Мексике нашли небольшого динозавра, решавшего споры лбом

Палеонтология

# динозавры

# древние виды

# древние животные

# меловой период

26 января, 14:26

Александр Березин

Анализ лунного грунта опроверг космическое происхождение земной воды

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

Астрономия

# внеземная вода

# Земля

# Луна

25 января, 16:53

Evgenia Vavilova

Биологи считают, что животным в зоопарках слишком хорошо

В зоопарках звери доживают до старости и выбывают из программ глобального сохранения видов, потому что не могут размножаться. Это ставит под угрозу усилия по поддержанию популяций редких видов.

Биология

# вымирающий вид

# генетическое разнообразие

# животные

# зоопарки

# млекопитающие

# размножение

# старение

12 января, 15:39

Александр Березин

Рыбы захватили Мировой океан только благодаря массовому вымиранию

От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.

Палеонтология

# биология

# массовые вымирания

# ордовикско-силурийское вымирание

# Палеонтология

# рыбы

# челюстноротые

28 января, 10:50

Игорь Байдов