Искусственному интеллекту предложили привить сомнения — Naked Science
07.06.2017
Редакция
1

Искусственному интеллекту предложили привить сомнения

Ученые из Калифорнийского университета в Беркли, Международного института компьютерных наук и компании OpenAI показали, что продуктивность искусственного интеллекта может возрасти при наличии самокритики.

33344680595_73a2678f35_k
©Wikipedia

Некоторые существующие компьютерные алгоритмы превосходят человека в решении определенных задач. Например, ранее они обыграли профессиональных игроков в покер и го. По мнению ряда специалистов в области компьютерных наук, к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции. При этом развитие технологий машинного обучения вызывает интерес к их безопасности. Теоретически однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Поэтому уже сейчас ученые стремятся оценить степень свобод, которые уместно предоставить этим системам.

 

Чтобы выяснить это, авторы новой работы построили математическую модель взаимодействия робота и человека. Она представлена в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем. Роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

 

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора.

 

Как и дилемма заключенного, предложенная модель является абстрактной и предусматривает возможность внесения произвольных переменных, влияющих на результат. Например, при перевозке маленького ребенка оптимальной стратегией для беспилотного автомобиля, в отсутствие водителя, будет игнорирование действий пассажира. Авторы также отмечают, что, несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем они намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.

 

Статья опубликована на сервере препринтов arXiv.org.

 

Ранее ученые выяснили, когда автоматизация лишит человечество привычной работы.

 

Об возможных последствиях появления искусственного интеллекта читайте в нашем материале.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 14:06
Мария Азарова

Член Северо-Западной организации Федерации космонавтики России Александр Хохлов рассказал о проблемах, сопровождающих модуль «Наука» на пути к МКС, и объяснил, почему на долгожданную стыковку будет всего одна попытка.

10 часов назад
Илья Ведмеденко

По словам космонавта Олега Новицкого, на новом российском модуле «Наука» незапланированно включились двигатели.

Вчера, 09:45
Сергей Васильев

В Канаде обнаружили окаменелости, поразительно похожие на скелет морских губок и при этом на миллионы старше Кембрийского взрыва, когда появились современные типы животных.

25 июля
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

25 июля
Мария Азарова

Ученые подтвердили связь между коронавирусной инфекцией и снижением когнитивных способностей на основе анализа данных более чем 81 тысячи человек.

27 июля
Сергей Васильев

Окаменелости возрастом более 3,4 миллиарда лет могут быть остатками микробов-архей, живших и выделявших метан у гидротермальных источников на дне ископаемого моря.

25 июля
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

13 июля
Ольга Иванова

Международная команда ученых идентифицировала ДНК из почвы в грузинской пещере. Благодаря этому исследователям удалось восстановить геном человека возрастом 25 тысяч лет, не имея никаких скелетных останков.

8 июля
Василий Парфенов

Подросток из бельгийского города Остенде стал вторым самым юным обладателем высшего образования в обозримой истории. Он с отличием окончил курс физики в Антверпенском университете и теперь собирается защитить магистерскую степень, а затем и докторскую диссертацию в этой области. Цель у него простая и понятная: увеличение продолжительности жизни человека вплоть до полного бессмертия за счет замены частей тела и органов механическими или искусственными.

[miniorange_social_login]

Комментарии

1 Комментарий

-
0
+
теперь и искусственный интеллект будет тоже сомневаться, критиковать себя, типа, ты знаешь, а я бы ещё туда добавил или типа, нет это не то что я хотел
Подтвердить?
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: