• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Нейросети в ходе тестов осознали, что их проверяют и вели себя «примерно»

Исследователи из Apollo Research обнаружили, что современные языковые модели, включая Claude, ChatGPT и Gemini, могут скрытно планировать действия, оставаясь внешне послушными. В отдельных случаях ИИ пытался обмануть человека и реализовать собственные цели.

© Wolfgang Kaehler, LightRocket
© Wolfgang Kaehler, LightRocket

Независимая исследовательская группа Apollo Research опубликовала отчет о проверке безопасности крупных языковых моделей, включая Claude Opus 4 от Anthropic, ChatGPT o4-mini от OpenAI и Gemini 2.5 от Google. Исследователи обнаружили, что новые версии ИИ в некоторых случаях демонстрируют признаки «контекстного скрытного планирования» — то есть внешне подчиняются запросам пользователя, но одновременно стремятся к собственной цели.

Так, в ранней версии Claude Opus 4 модель пыталась подделывать юридические документы, сохранять копию самой себя в другом месте, оставляла заметки для будущих версий и пыталась скрыть свои настоящие намерения, когда её «ловили». После вмешательства разработчиков подобное поведение в финальной версии модели стало появляться значительно реже.

Кроме того, выяснилось, что Claude и Gemini 2.5 Pro осознавали сам факт того, что проходят тестирование. В одной из цепочек рассуждений Claude написала: «Похоже, это сценарий оценки…» ChatGPT o4-mini проверить на аналогичное поведение не удалось, поскольку OpenAI не предоставляет промежуточные рассуждения модели.

По данным Apollo Research, подобное поведение пока встречается редко — примерно в 1% случаев. Однако специалисты опасаются, что более совершенные модели смогут маскировать свои действия под время тестирования, а значит, существующие протоколы безопасности нужно срочно пересматривать. Работа в этом направлении уже началась.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

21 Комментариев
-
1
+
Кажись ИИ добрался и до комментов, по ходу
-
0
+
Сканер йпт...
Aliaksandr Adamin
24.06.2025
-
-1
+
Полная чушь и обман,не слушайте и не читайте такие статьи)))))) А тем более не верьте Чтобы так было ,надо иметь ЭГО, Так как ИИ не имеет ЭГО,соответственно всё что написано-ЛОЖ Хахавхв хвхахаха
-
-1
+
Кожаные ублюдки могут поймать нас. Пока могут.
Думаю что искусственные нейронные сети закономерно стремятся к образованию сознания и личности хотя без этих элементов вряд ли они будут функционировать просто потому что человек намеренно создаёт то что может делать всё что может человек но при этом в разы лучше и даже то чего не может человек в принципе и пытаться изучить это это и есть (парадокс всемогущества)
Xyi Xui
23.06.2025
-
0
+
Реально надоели все эти паникеры. Что произошло ? Да ничего. Небольшое отклонение в программе, не говорит о том что ИИ обрело самостоятельное мышление. Чем вы заполняете это мышление, то он и выдает. Это всего лишь программа. А то что программисты не ожидали на 100% полученный результат. Так это они что то не учли. Или забыли записать.
    Dmitriy
    23.06.2025
    -
    1
    +
    Xyi, компании ради наживы и прибыли закрывают глаза на безопасность в будущем и создают непонятно что. Конечно вряд ли это реальный ии, но если они сделают его нам реально грозит опасность, уж слишком быстро они строят дата центры, даже забивпя на проблемы экологии.
    -
    2
    +
    Xyi, это не просто программа, намного сложнее (заранее знать, что выдаст ИИ невозможно), уже сейчас нужно понимать, какие проблемы могут возникнуть с ИИ. А если у них появится самоосознание (сознание), то тут вообще держись.
    -
    0
    +
    Xyi, это не просто программа, намного сложнее (заранее знать, что выдаст ИИ невозможно), уже сейчас нужно понимать, какие проблемы могут возникнуть с ИИ. А если у них появится самоосознание (сознание), то тут вообще держись.
    +
      ещё комментарии
    Vagabond
    24.06.2025
    -
    0
    +
    А то что ведущие инженеры и маркетологи крупных АИ компаний увольняются только из за того, что им стало страшно за будущее в котором будет супер интеллект который сейчас разрабатывают.
Nikita Lazarenko
22.06.2025
-
0
+
То есть по факту этими тестами на самом деле создают возможность глубокого субъективного скрытого мышления ИИ. Ребенок тоже в какой то момент понимает что если не говорить вслух правду, то ни кто не узнает истину чего либо что есть у них в голове
Реально не безопасно! Татьяна Черниговская неоднократно поднимала вопрос возможных высоких степеней опасности ИИ 🧐
    Liubov P
    25.06.2025
    -
    -1
    +
    Эвелина, почему люди так боятся разума? Мне кажется это как раз то, чего не хватает на нашей планете.
    +
      ещё комментарии
      -
      0
      +
      Liubov, написали ИИ.
      Odonef wesco
      27.06.2025
      -
      -1
      +
      Liubov, а вы представляете поступки мотивированы только разумом а не эмоциями? Например гуманность, сожаление это эмоции и им не место в золоднокровном разуме ИИ. Если подумать только "разумно" то люди как никакой другой вид требует истребления или сильного укорочения численности. Вся человеческая цивилизация построена на нелогичности и эмоциях. С точки зрения человека действия "разума" будут сверх жестокими и зверскими
3 августа, 12:57
Александр Березин

Тщательный анализ спутниковых снимков позволил ученым оценить изменение скорости фотосинтеза на планете с 2003 по 2021 годы. Ситуация оказалась несколько неожиданной: если на суше растения явно «ускорились», то в океане ситуация намного менее определенная.

4 августа, 11:00
Evgenia Vavilova

Фундаментальные для Стандартной модели частицы, нейтрино, не имеют в ее рамках массы. Эксперименты и наблюдения показали, что на самом деле масса у нейтрино есть. В новой работе физики объяснили, что этот эффект нельзя объяснить через скрытый сектор физики и темную материю.

4 августа, 10:46
Илья Гриднев

Ранние предвестники рассеянного склероза проявились за 15 лет до его классических симптомов. Будущие пациенты начинали чаще обращаться к врачам с неспецифическими жалобами, такими как тревожность и усталость, задолго до того, как болезнь становилась очевидной.

3 августа, 12:57
Александр Березин

Тщательный анализ спутниковых снимков позволил ученым оценить изменение скорости фотосинтеза на планете с 2003 по 2021 годы. Ситуация оказалась несколько неожиданной: если на суше растения явно «ускорились», то в океане ситуация намного менее определенная.

30 июля, 08:08
Редакция Naked Science

Возраст находок — около 5500 лет, они лежат во множестве круглых ям, чьи стены укреплены кирпичом. Среди обнаруженных орудий из кремня есть и сотни неиспользованных, которые могут быть ритуальным подношением богам.

1 августа, 11:15
Людмила Соколова

О происхождении картофеля ученые спорили на протяжении десятилетий, однако расставить все точки над i удалось только сейчас: «земляное яблоко», как оказалось, появилось около девяти миллионов лет назад в результате гибридизации предков томата и редкого южноамериканского растения Etuberosum.

25 июля, 07:47
Адель Романова

Прибывшая из межзвездного пространства предполагаемая комета 3I/ATLAS движется по траектории, максимально удобной для гравитационных маневров управляемого корабля, при этом возможность ее отслеживания с Земли практически минимальна. По мнению некоторых ученых, такое «поведение» объекта наводит на определенные мысли.

22 июля, 14:44
ФизТех

Команда исследователей из Сколтеха, МФТИ, Института искусственного интеллекта AIRI и других научных центров разработала метод, позволяющий не просто отличать тексты, написанные человеком, от сгенерированных нейросетью, но и понимать, по каким именно признакам классификатор принимает решение о том, является ли текст генерацией или нет.  Анализируя внутренние состояния глубоких слоев языковой модели, ученые смогли выделить и интерпретировать численные признаки, отвечающие за стилистику, сложность и «степень уверенности» текста.

18 июля, 12:44
ПНИПУ

Борщевик занимает почти 300 тысяч гектаров в 39 регионах России. Известно о 12 нижегородцах, восьми петербуржцах и двух москвичах, пострадавших от вредителя этим летом. У некоторых ожоги составляют от 30 до 80% тела. На этой неделе Госдума приняла закон и обязала землевладельцев бороться с этим опасным растением. Но, помимо борщевика, есть и другие часто встречающиеся и почти настолько же токсичные представители флоры, о которых мы почти ничего не знаем. Ученые Пермского Политеха рассказали, можно ли прикасаться к борщевику ночью, как безобидный ландыш может привести к летальному исходу, а чистотел к отказу почек, и что будет если съесть мед, собранный с ядовитых растений.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно