07.06.2017
Редакция Naked Science
1

Искусственному интеллекту предложили привить сомнения

Ученые из Калифорнийского университета в Беркли, Международного института компьютерных наук и компании OpenAI показали, что продуктивность искусственного интеллекта может возрасти при наличии самокритики.

33344680595_73a2678f35_k
©Wikipedia

Некоторые существующие компьютерные алгоритмы превосходят человека в решении определенных задач. Например, ранее они обыграли профессиональных игроков в покер и го. По мнению ряда специалистов в области компьютерных наук, к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции. При этом развитие технологий машинного обучения вызывает интерес к их безопасности. Теоретически однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Поэтому уже сейчас ученые стремятся оценить степень свобод, которые уместно предоставить этим системам.

 

Чтобы выяснить это, авторы новой работы построили математическую модель взаимодействия робота и человека. Она представлена в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем. Роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

 

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора.

 

Как и дилемма заключенного, предложенная модель является абстрактной и предусматривает возможность внесения произвольных переменных, влияющих на результат. Например, при перевозке маленького ребенка оптимальной стратегией для беспилотного автомобиля, в отсутствие водителя, будет игнорирование действий пассажира. Авторы также отмечают, что, несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем они намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.

 

Статья опубликована на сервере препринтов arXiv.org.

 

Ранее ученые выяснили, когда автоматизация лишит человечество привычной работы.

 

Об возможных последствиях появления искусственного интеллекта читайте в нашем материале.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 05:45
Мария Азарова

Более низкие уровни интерлейкина-6 — маркера системного воспаления — выявили у людей, которые считали, что готовы предоставлять больше поддержки окружающим, чем получать взамен.

Вчера, 09:29
ФизТех

Переключения магнетиков между спиновыми состояниями могут передавать логический сигнал, и этим процессом можно заменить перенос электронов в современных процессорах. Ученым из МФТИ и их коллегам из Института элементоорганических соединений имени А. Н. Несмеянова и Испании впервые удалось зарегистрировать специфический переход соединения железа между состояниями. Это поможет разработать процессоры и устройства памяти с большим отношением производительности к количеству потребляемой энергии.

11 часов назад
Василий Парфенов

Пару недель назад Международная космическая станция разменяла 23-й год своего существования на орбите. И хотя далеко не все ее модули насчитывают и десяти лет эксплуатации, конструкция в целом давно вызывает опасения в надежности. В числе прочего американскую сторону особо волнуют недавние неполадки в российском сегменте. Их считают предвестником серьезного препятствия человеческой экспансии в космос — когда мы лишимся важнейшего форпоста на орбите Земли, а замены ему еще не появится.

26 ноября
Анастасия Михалева

За всю историю исследования в космосе побывали более 500 человек. В океан на глубину более 10 километров спускались всего трое. Мы до сих пор знаем о Мировом океане и его обитателях недопустимо мало.

26 ноября
Ольга Иванова

Исследовательская группа из Великобритании провела эксперимент и выяснила, какие факторы могут быть причиной удовольствия, получаемого от объятий.

29 ноября
Мария Азарова

Ученые из США представили альтернативный молекулярный механизм образования меланоцитарного невуса, который согласуется как с экспериментальными, так и с клиническими наблюдениями.

3 ноября
Ольга Иванова

Исследований на эту тему, как ни странно, мало, хотя предположений — великое множество. По мнению ученых из Венгрии, одна из причин такого поведения — высокая концентрация внимания на речи хозяина, а еще это означает, что собака слышит знакомое слово.

12 ноября
Мария Азарова

Кошки оказывались сбиты с толку, когда их человек, как им казалось, «телепортировался» в новое, неожиданное место. Однако они не реагировали таким же образом на чужих людей или других животных.

25 ноября
НИУ ВШЭ

Мобильные ученые публикуются в индексируемых журналах в два раза чаще. К такому выводу пришли исследователи из НИУ ВШЭ.

[miniorange_social_login]

Комментарии

1 Комментарий

-
0
+
теперь и искусственный интеллект будет тоже сомневаться, критиковать себя, типа, ты знаешь, а я бы ещё туда добавил или типа, нет это не то что я хотел
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: