Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

8,6 тыс

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

© Canadian Press / Rex / Shutterstock
© Canadian Press / Rex / Shutterstock

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель. 

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект? 

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.  

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK

Комментарии

4 Комментария
[miniorange_social_login]