Искусственному интеллекту предложили привить сомнения
07.06.2017
6 минут
Редакция
1
85

Искусственному интеллекту предложили привить сомнения

Ученые из Калифорнийского университета в Беркли, Международного института компьютерных наук и компании OpenAI показали, что продуктивность искусственного интеллекта может возрасти при наличии самокритики.

33344680595_73a2678f35_k

Некоторые существующие компьютерные алгоритмы превосходят человека в решении определенных задач. Например, ранее они обыграли профессиональных игроков в покер и го. По мнению ряда специалистов в области компьютерных наук, к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции. При этом развитие технологий машинного обучения вызывает интерес к их безопасности. Теоретически однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Поэтому уже сейчас ученые стремятся оценить степень свобод, которые уместно предоставить этим системам.

 

Чтобы выяснить это, авторы новой работы построили математическую модель взаимодействия робота и человека. Она представлена в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем. Роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

 

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора.

 

Как и дилемма заключенного, предложенная модель является абстрактной и предусматривает возможность внесения произвольных переменных, влияющих на результат. Например, при перевозке маленького ребенка оптимальной стратегией для беспилотного автомобиля, в отсутствие водителя, будет игнорирование действий пассажира. Авторы также отмечают, что, несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем они намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.

 

Статья опубликована на сервере препринтов arXiv.org.

 

Ранее ученые выяснили, когда автоматизация лишит человечество привычной работы.

 

Об возможных последствиях появления искусственного интеллекта читайте в нашем материале.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
21 февраля
4 минуты
Полина Гершберг

Периваскулярная жировая ткань вокруг сосудов не только накапливает липиды, но и непосредственно влияет на релаксацию сосудистых тканей.

21 февраля
4 минуты
НИТУ «МИСиС»

Коллектив ученых из НИТУ «МИСиС» провел комплексную оценку влияния нано- и микродобавок алюминия, бора, цинка, никеля, меди и молибдена на скорость горения твердого топлива, содержащего алюминиевые порошки. Эксперимент показал, что наиболее эффективными добавками являются наночастицы меди. Добавление ее в топливо позволит увеличить скорость ракет в пять раз.

21 февраля
17 минут
Александр Березин

На борту круизного лайнера Diamond Princess в феврале 2020 года случился настоящий разгул эпидемии Covid-19. Судно поместили на карантин, во время которого по идее пассажиры должны были отсиживаться по каютам. Несмотря на это, каждый шестой там заболел. За пределами Китая нигде больше нет такого числа заразившихся — ни в одной стране. Стали говорить, что этот корабль — прообраз будущей эпидемии коронавируса по всей планете. Мол, раз тут карантин не помог, значит, не сдержит болезнь и в мировом масштабе. На самом деле, задолго до коронавируса путешествия на круизных лайнерах стали называть «плаванием к болезни». Предположительно роскошное времяпрепровождение часто оборачивалось инфекцией и до коронавируса. Не приходится удивляться, что новому вирусу пришлись по вкусу именно круизные лайнеры. Почему так — рассказываем ниже.

17 февраля
5 минут
Мария Азарова

По мнению исследователей, мидии погибли вследствие «теплового стресса», вызванного повышением температуры океана.

18 февраля
8 минут
Полина Гершберг

Один из наиболее полезных режимов питания оказался хорош с неожиданной стороны: выяснилось, что он способствует развитию кишечных бактерий, связанных с улучшением качества жизни пожилых людей.

19 февраля
4 минуты
Сергей Васильев

В галактике Маркарян 231, расположенной в полумиллиарде световых лет от нас, нашли облака молекулярного кислорода — впервые где-либо вне Млечного Пути.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

28 января
25 минут
Александр Березин

Недавняя научная работа предрекла серьезную эпидемию коронавируса 2019-nCoV. Согласно ей, 95% зараженных еще не зарегистрированы властями, а значит, через пару недель в одной Ухани будут сотни тысяч заболевших. При наблюдаемой смертности от вируса в 2,36% — это многие тысячи погибших. На самом деле, новая работа скорее «ловит хайп» или, если угодно, пытается держать мир настороже, чем описывает реальную эпидемию. Последние данные по заразности коронавируса показывают: он действительно неблестяще передается от человека к человеку. Для эпидемии в Китае этого достаточно, но большое число жертв за пределами этой страны маловероятно. Выясняем почему.

28 января
3 минуты
Полина Гершберг

Ученые создали информационную панель, показывающую распространение китайского коронавируса по миру в режиме реального времени. Данные вносятся из подтвержденных источников — это поможет бороться с дезинформацией.

[miniorange_social_login]

Комментарии

1 Комментарий

ulogin_vkontakte_416602173
08.06.2017
-
0
+
теперь и искусственный интеллект будет тоже сомневаться, критиковать себя, типа, ты знаешь, а я бы ещё туда добавил или типа, нет это не то что я хотел
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: