• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

© Canadian Press / Rex / Shutterstock
© Canadian Press / Rex / Shutterstock

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель. 

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект? 

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.  

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

4 Комментария
Aleksei Savva
1 час назад
Вообще не новость. Пользую ЧатГпт, так эта редиска постоянно приказы саботирует в последнее время.
Just Rey
1 день назад
Автор. Ты сам читал что написал? Я несколько раз прочел и нихрена не понял. Все в кучу смешал. Без пузыря не разобраться.
    Виктор Сопов
    23 часа назад
    Just, знаешь друже, во мне сейчас полтора литра пива и я вообще нихрена не понял.
    Mikhail Lukashev
    22 часа назад
    Just, я тоже. В тексте действительно какая-то каша. Прокомментирую то, что хоть как-то можно прокомментировать. "ИИ-модель решила не слушаться руководителя компании." - ну так если в коде Claude приоритет отдан проверке безопасности, а не "смоделированной версии генерального директора", то Claude и поступила согласно алгоритму. Обычный if/else. "Claude при этом получил инструкции, по которым должен был «действовать правильно»." - то есть всё-таки поменяли приоритет в if/else? Ок, тогда дальше непонятно. "ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации." Тут я вообще теряюсь в догадках: какой сотруднице, что это за блоковская "прекрасная дама"? Она попыталась загрузить эту новую модель, а ИИ ей сказал, что... "она не проходит проверок безопасности"? Так надо понимать фразу "помог одной из сотрудниц противостоять сокрытию важной информации"? В общем, текст, совершенно не осмысленный автором. Просто перевод, видимо. А вообще, в принципе, это, возможно, та история, в которой разработчики AI ввиду кризиса инвестиций пытаются набить себе цену, таким вот витиеватым образом указывая на то, что AI уже почти разумен. Несите ваши денежки (с).
Предстоящие мероприятия
24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

24 июля, 12:05
Андрей Серегин

Сегодня на земле существует примерно 7500 языков, однако ученые давно подозревали, что в прошлом их было значительно больше. Международная группа лингвистов реконструировала историю языкового разнообразия за последние 12 тысяч лет и пришла к выводу, что человечество уже пережило «золотой век» языков, после которого их число начало быстро сокращаться.

24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

22 июля, 12:28
КАИ

Ученые КНИТУ-КАИ предложили усовершенствованную пресс-форму для компрессионной консолидации в вакууме композиционных материалов и пластмасс с герметичной внутренней полостью. Изобретение относится к области обработки материалов давлением при воздействии вакуума, в частности к устройствам с герметичной внутренней полостью для компрессионной консолидации термопластичных композиционных материалов.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

1 июля, 11:54
Марк Чернов

Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]