• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

© Canadian Press / Rex / Shutterstock
© Canadian Press / Rex / Shutterstock

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель. 

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект? 

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.  

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

3 Комментария
Just Rey
4 часа назад
Автор. Ты сам читал что написал? Я несколько раз прочел и нихрена не понял. Все в кучу смешал. Без пузыря не разобраться.
    Виктор Сопов
    2 часа назад
    Just, знаешь друже, во мне сейчас полтора литра пива и я вообще нихрена не понял.
    Mikhail Lukashev
    1 час назад
    Just, я тоже. В тексте действительно какая-то каша. Прокомментирую то, что хоть как-то можно прокомментировать. "ИИ-модель решила не слушаться руководителя компании." - ну так если в коде Claude приоритет отдан проверке безопасности, а не "смоделированной версии генерального директора", то Claude и поступила согласно алгоритму. Обычный if/else. "Claude при этом получил инструкции, по которым должен был «действовать правильно»." - то есть всё-таки поменяли приоритет в if/else? Ок, тогда дальше непонятно. "ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации." Тут я вообще теряюсь в догадках: какой сотруднице, что это за блоковская "прекрасная дама"? Она попыталась загрузить эту новую модель, а ИИ ей сказал, что... "она не проходит проверок безопасности"? Так надо понимать фразу "помог одной из сотрудниц противостоять сокрытию важной информации"? В общем, текст совершенно не осмысленный автором. Просто перевод, видимо. А вообще, в принципе, это, возможно, та история, что разработчики AI ввиду кризиса инвестиций пытаются набить себе цену, таким вот витиеватым образом указывая на то, что AI уже почти разумен.
Предстоящие мероприятия
25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 14:10
Любовь С.

В поисках внеземного разума ученые могли упустить часть возможных сигналов. Автор сразу двух исследований показала, что астрономы почти не изучали один из перспективных диапазонов радиоволн и недооценивали число звезд, которые уже попадали в поле зрения телескопов.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

20 июля, 14:11
Татьяна Зайцева

В позднеантичном Риме императорским указом мужчинам запретили носить длинные волосы. Автор нового исследования пришел к выводу, что введение этого запрета объяснялось необходимостью сохранения римской идентичности в условиях усиливающегося распада империи и нарастающего торжества варваров.

22 июля, 15:33
Александр Березин

Виктор Гловер, один из четырех человек, весной этого года пролетевших мимо Луны, выступил на конференции NASA и предложил резко изменить план высадки американцев на Луне в конце десятилетия. Он считает, что это позволит снизить риски для астронавтов-участников миссии.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

26 июня, 14:54
Максим Абдулаев

Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.

1 июля, 11:54
Марк Чернов

Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.

[miniorange_social_login]