• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

© Canadian Press / Rex / Shutterstock
© Canadian Press / Rex / Shutterstock

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель. 

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект? 

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.  

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

4 Комментария
Aleksei Savva
3 недели назад
Вообще не новость. Пользую ЧатГпт, так эта редиска постоянно приказы саботирует в последнее время.
Just Rey
3 недели назад
Автор. Ты сам читал что написал? Я несколько раз прочел и нихрена не понял. Все в кучу смешал. Без пузыря не разобраться.
    Виктор Сопов
    3 недели назад
    Just, знаешь друже, во мне сейчас полтора литра пива и я вообще нихрена не понял.
    Mikhail Lukashev
    3 недели назад
    Just, я тоже. В тексте действительно какая-то каша. Прокомментирую то, что хоть как-то можно прокомментировать. "ИИ-модель решила не слушаться руководителя компании." - ну так если в коде Claude приоритет отдан проверке безопасности, а не "смоделированной версии генерального директора", то Claude и поступила согласно алгоритму. Обычный if/else. "Claude при этом получил инструкции, по которым должен был «действовать правильно»." - то есть всё-таки поменяли приоритет в if/else? Ок, тогда дальше непонятно. "ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации." Тут я вообще теряюсь в догадках: какой сотруднице, что это за блоковская "прекрасная дама"? Она попыталась загрузить эту новую модель, а ИИ ей сказал, что... "она не проходит проверок безопасности"? Так надо понимать фразу "помог одной из сотрудниц противостоять сокрытию важной информации"? В общем, текст, совершенно не осмысленный автором. Просто перевод, видимо. А вообще, в принципе, это, возможно, та история, в которой разработчики AI ввиду кризиса инвестиций пытаются набить себе цену, таким вот витиеватым образом указывая на то, что AI уже почти разумен. Несите ваши денежки (с).
Предстоящие мероприятия
17 августа, 06:33
Мария Азарова

У любителей кофе выявили расхождение в уровнях тестостерона: одна форма этого гормона повышалась вместе с количеством выпитого, а другая, напротив, снижалась. Результат оказался особенно интересным на фоне изменений других показателей, связанных с обменом веществ и здоровьем сердца.

16 августа, 11:45
Татьяна Зайцева

В черепах участников битв эпохи Средневековья часто находят отверстия квадратной формы, о происхождении которых спорят специалисты. Авторы нового исследования пришли к выводу, что такое повреждение — следствие смертельного удара по голове палицей.

17 августа, 10:29
Мария Азарова

Грудь и ягодицы обычно воспринимаются как главные особенности женской фигуры, которые могут влиять на оценку привлекательности. Однако новое исследование показало, что в предпочтениях мужчин эти признаки далеко не равноценны.

16 августа, 11:45
Татьяна Зайцева

В черепах участников битв эпохи Средневековья часто находят отверстия квадратной формы, о происхождении которых спорят специалисты. Авторы нового исследования пришли к выводу, что такое повреждение — следствие смертельного удара по голове палицей.

15 августа, 15:28
Марк Чернов

Специальный пластиковый жилет смог существенно снизить дозу радиации, полученную манекеном во время тестового полета корабля Orion к Луне. По уровню защиты жилет не уступил специальному противорадиационному убежищу внутри корабля. В будущем такая экипировка позволит защищать астронавтов от солнечных вспышек во время полетов на Луну и Марс, минимально сковывая их работу.

17 августа, 06:33
Мария Азарова

У любителей кофе выявили расхождение в уровнях тестостерона: одна форма этого гормона повышалась вместе с количеством выпитого, а другая, напротив, снижалась. Результат оказался особенно интересным на фоне изменений других показателей, связанных с обменом веществ и здоровьем сердца.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]