• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
07.06.2017, 12:23
Редакция Naked Science
1
230

Искусственному интеллекту предложили привить сомнения

Ученые из Калифорнийского университета в Беркли, Международного института компьютерных наук и компании OpenAI показали, что продуктивность искусственного интеллекта может возрасти при наличии самокритики.

33344680595_73a2678f35_k
©Wikipedia / Автор: Ольга Кузьмина

Некоторые существующие компьютерные алгоритмы превосходят человека в решении определенных задач. Например, ранее они обыграли профессиональных игроков в покер и го. По мнению ряда специалистов в области компьютерных наук, к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции. При этом развитие технологий машинного обучения вызывает интерес к их безопасности. Теоретически однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Поэтому уже сейчас ученые стремятся оценить степень свобод, которые уместно предоставить этим системам.

 

Чтобы выяснить это, авторы новой работы построили математическую модель взаимодействия робота и человека. Она представлена в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем. Роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

 

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора.

 

Как и дилемма заключенного, предложенная модель является абстрактной и предусматривает возможность внесения произвольных переменных, влияющих на результат. Например, при перевозке маленького ребенка оптимальной стратегией для беспилотного автомобиля, в отсутствие водителя, будет игнорирование действий пассажира. Авторы также отмечают, что, несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем они намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.

 

Статья опубликована на сервере препринтов arXiv.org.

 

Ранее ученые выяснили, когда автоматизация лишит человечество привычной работы.

 

Об возможных последствиях появления искусственного интеллекта читайте в нашем материале.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
26 марта, 10:59
НИУ ВШЭ

Ученые Центра исследований интеллекта и когнитивного благополучия НИУ ВШЭ провели первый систематический анализ научных работ, посвященных особенностям восприятия эмоций по движениям при аутизме. Анализ показал, что различия между аутичными и неаутичными людьми во многом зависят от того, как именно устроен эксперимент и какие задачи предлагаются участникам.

26 марта, 14:44
Александр Березин

Полевой маршал погиб во время франко-голландской войны, но до сих пор конкретное место захоронения не было известно. Найденный скелет формально согласуется с причиной смерти шевалье д'Артаньяна (вопреки беллетристике, это был один из его титулов, а не имя). Анализ ДНК должен окончательно подтвердить гипотезу уже в ближайшее время.

26 марта, 17:03
МАИ

Компания OpenAI официально подтвердила информацию, которая уже несколько дней будоражит профильные ИТ-сообщества: видеогенератор Sora прекращает свое существование. В официальном заявлении команда проекта выбрала довольно эмоциональную формулировку: «Мы прощаемся с приложением Sora». О возможных причинах и последствиях решения рассказал Дмитрий Сошников – преподаватель института № 8 «Компьютерные науки и прикладная математика» Московского авиационного института, популяризатор технологий искусственного интеллекта, автор телеграм-канала Облачный адвокат.

24 марта, 16:05
Дарья Губина

В разрыве протопланетного диска звезды WISPIT 2 ученые разглядели зарождающуюся планету. Это уже второй гигант в этом формирующемся «семействе», что делает его крайне похожим на молодую Солнечную систему.

21 марта, 19:13
Игорь Байдов

Арахнологи описали новый вид пауков, который копирует облик мертвой особи, пораженной паразитическим грибом, чтобы хищники меньше обращали на него внимание. В природе такой гриб заражает хозяина и воздействует на его нервную систему, после чего заставляет подниматься на возвышенность, откуда легче распространять споры. Открытие расширит представления ученых о мимикрии у животных.

26 марта, 10:59
НИУ ВШЭ

Ученые Центра исследований интеллекта и когнитивного благополучия НИУ ВШЭ провели первый систематический анализ научных работ, посвященных особенностям восприятия эмоций по движениям при аутизме. Анализ показал, что различия между аутичными и неаутичными людьми во многом зависят от того, как именно устроен эксперимент и какие задачи предлагаются участникам.

19 марта, 10:58
Игорь Байдов

В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.

19 марта, 12:41
Игорь Байдов

Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.

18 марта, 10:35
Илья Гриднев

За 10 лет лежания в почве сигаретные фильтры не растворились, а лишь замаскировались под грязь. Их пластиковые волокна распались на микрочастицы, намертво склеились с минералами и превратились во вторичный микропластик. Более того, на пятом году гниения мусор начал отравлять землю с новой силой.

[miniorange_social_login]

Комментарии

1 Комментарий
теперь и искусственный интеллект будет тоже сомневаться, критиковать себя, типа, ты знаешь, а я бы ещё туда добавил или типа, нет это не то что я хотел
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно