Самый большой научпоп канал
Подписаться
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
07.06.2017
Редакция Naked Science
1
227

Искусственному интеллекту предложили привить сомнения

Ученые из Калифорнийского университета в Беркли, Международного института компьютерных наук и компании OpenAI показали, что продуктивность искусственного интеллекта может возрасти при наличии самокритики.

33344680595_73a2678f35_k
©Wikipedia / Автор: Ольга Кузьмина

Некоторые существующие компьютерные алгоритмы превосходят человека в решении определенных задач. Например, ранее они обыграли профессиональных игроков в покер и го. По мнению ряда специалистов в области компьютерных наук, к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции. При этом развитие технологий машинного обучения вызывает интерес к их безопасности. Теоретически однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Поэтому уже сейчас ученые стремятся оценить степень свобод, которые уместно предоставить этим системам.

 

Чтобы выяснить это, авторы новой работы построили математическую модель взаимодействия робота и человека. Она представлена в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем. Роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

 

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора.

 

Как и дилемма заключенного, предложенная модель является абстрактной и предусматривает возможность внесения произвольных переменных, влияющих на результат. Например, при перевозке маленького ребенка оптимальной стратегией для беспилотного автомобиля, в отсутствие водителя, будет игнорирование действий пассажира. Авторы также отмечают, что, несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем они намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.

 

Статья опубликована на сервере препринтов arXiv.org.

 

Ранее ученые выяснили, когда автоматизация лишит человечество привычной работы.

 

Об возможных последствиях появления искусственного интеллекта читайте в нашем материале.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
14 июня
Любовь Соковикова

Изучив поведение 69 видов птиц в разных областях Западных Гат (Индия), международная исследовательская группа наконец объяснила, почему территориальные и всеядные птицы чаще других поют по утрам.

Позавчера, 10:04
Андрей Папиш

Среди ныне живущих морских обитателей осталось всего несколько так называемых «живых» ископаемых вроде латимерии или мечехвоста. Остальных мы знаем по уцелевшим остаткам. Новый вид древней рыбы обнаружили палеонтологи в девонском песчанике Канадской Арктики. Судя по найденным зубам и челюстям, рыба была в разы меньше своих родственников, а значит, могла жить в реках, что необычно для этих существ.

14 июня
Любовь Соковикова

Наблюдая ранние этапы рождения землеподобных миров, астрономы приблизились к решению «метрового барьера» — проблемы роста пылевых зерен до размеров, необходимых для формирования планет.

14 июня
Любовь Соковикова

Изучив поведение 69 видов птиц в разных областях Западных Гат (Индия), международная исследовательская группа наконец объяснила, почему территориальные и всеядные птицы чаще других поют по утрам.

Позавчера, 10:04
Андрей Папиш

Среди ныне живущих морских обитателей осталось всего несколько так называемых «живых» ископаемых вроде латимерии или мечехвоста. Остальных мы знаем по уцелевшим остаткам. Новый вид древней рыбы обнаружили палеонтологи в девонском песчанике Канадской Арктики. Судя по найденным зубам и челюстям, рыба была в разы меньше своих родственников, а значит, могла жить в реках, что необычно для этих существ.

14 июня
Любовь Соковикова

Наблюдая ранние этапы рождения землеподобных миров, астрономы приблизились к решению «метрового барьера» — проблемы роста пылевых зерен до размеров, необходимых для формирования планет.

5 июня
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

22 мая
ПНИПУ

Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.

26 мая
Unitsky String Technologies Inc.

Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.

[miniorange_social_login]

Комментарии

1 Комментарий
-
0
+
теперь и искусственный интеллект будет тоже сомневаться, критиковать себя, типа, ты знаешь, а я бы ещё туда добавил или типа, нет это не то что я хотел
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно