Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

25 июля, 10:04

Рейтинг: +311

Посты: 1082

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

Сообщество

# ИИ

# информационная безопасность

# искусственный интеллект

# нейросети

# технологии

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель.

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект?

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Дзен

Just, я тоже. В тексте действительно какая-то каша. Прокомментирую то, что хоть как-то можно прокомментировать. "ИИ-модель решила не слушаться руководителя компании." - ну так если в коде Claude приоритет отдан проверке безопасности, а не "смоделированной версии генерального директора", то Claude и поступила согласно алгоритму. Обычный if/else. "Claude при этом получил инструкции, по которым должен был «действовать правильно»." - то есть всё-таки поменяли приоритет в if/else? Ок, тогда дальше непонятно. "ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации." Тут я вообще теряюсь в догадках: какой сотруднице, что это за блоковская "прекрасная дама"? Она попыталась загрузить эту новую модель, а ИИ ей сказал, что... "она не проходит проверок безопасности"? Так надо понимать фразу "помог одной из сотрудниц противостоять сокрытию важной информации"? В общем, текст, совершенно не осмысленный автором. Просто перевод, видимо. А вообще, в принципе, это, возможно, та история, в которой разработчики AI ввиду кризиса инвестиций пытаются набить себе цену, таким вот витиеватым образом указывая на то, что AI уже почти разумен. Несите ваши денежки (с).