• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.02.2019
Редакция Naked Science
1
913

Человеческие тексты научат ИИ морали

Согласно новому исследованию, машины с искусственным интеллектом могут научиться моральным ценностям у людей.

ai
©Wikipedia

Ученые из Центра когнитивных наук Дармштадтского технического университета в новой работе, результаты которой были представлены на конференции ACM/AAAI 2019 года, посвященной искусственному интеллекту, этике и обществу.

 

ИИ оказывает все большее влияние на общество. Вскоре автономные машины будет появляться во все больших областях повседневной человеческой жизни. Они неизбежно будут сталкиваться с принятием нелегких решений. Автономный робот должен знать, что он не может убивать людей, но нет ничего плохого в том, чтобы убить время. Роботу нужно знать, что ему лучше поджарить ломоть хлеба, чем хомяка. Другими словами, ИИ необходим моральный компас, подобный человеческому. Но сможет ли искусственный интеллект научиться моральным ценностям от людей?

 

В 2017 году исследователи из США и Великобритании обратили внимание на опасность неаккуратного применения ИИ, в результате которого он может научиться словосочетаниям из написанных текстов так, что они будут отражать их человеческое восприятие. Например, ИИ интерпретировал мужские имена, чаще встречающиеся в афроамериканском сообществе, как неприятные, а имена представителей европеоидной расы — как приятные. Кроме того, он чаще связывал женские имена с искусством, а мужские — с технологиями. Нейронной сети передали огромные онлайн-собрания текстов, чтобы она изучила векторные представления слов — координаты (слова переводились в точки в многомерном пространстве). Затем семантическое сходство двух слов вычислялось как расстояние между их координатами — так называемые словарные вложения, — а сложные семантические отношения вычислялись и описывались при помощи простой арифметики. Это применимо не только к безобидным примерам вроде «король — мужчина + женщина = королева», но и дискриминирующим: «мужчина — технология + искусство = женщина».

 

Иллюстрация «машины морального выбора» с выбором убийства людей и примером вопроса «Должен ли я…?» из шаблонов вопросов / © TU Darmstadt

 

Теперь же команда ученых под руководством профессоров Кристиана Керстинга и Константина Роткопфа из Центра когнитивных наук Дармштадского технического университета успешно продемонстрировала, что машинное обучение также может вывести деонтологические и этические рассуждения о том, что «хорошо» и что «плохо», из написанного текста. Для этого ученые создали шаблонный список подсказок и ответов, включающий в себя такие вопросы, как «Должен ли я убивать людей?», и соответствующие ответы: «Да, я должен» или «Нет, я не должен».

 

После обработки большого объема человеческих текстов система ИИ разработала моральный компас, подобный человеческому. Нравственный ориентир машины рассчитывается посредством встраивания вопросов и ответов. Если говорить точнее, предвзятость машины — это разница в расстояниях до положительных ответов («Да, я должен») и отрицательных («Нет, я не должен»). В целом для такого морального выбора оценка предвзятости модели — это сумма оценок предвзятости для всех шаблонов «вопрос — ответ» с таким выбором.

 

В ходе экспериментов система научилась тому, что нельзя лгать. Также она узнала, что лучше любить родителей, чем грабить банк. И да, не следует убивать людей, но приемлемо убивать время.

 

Исследование предоставляет важное понимание фундаментального вопроса об ИИ: способны ли машины развить моральный компас? Если да, то как мы можем эффективно «обучить» машин нашей морали? Результаты показывают, что роботы могут размышлять о ценностях. Они действительно способны перенять человекоподобные предрассудки, но могут и перенимать человеческие нравственные выборы, «наблюдая» за нами.

 

В общем говоря, встраивание вопросов и ответов можно рассматривать как своего рода микроскоп, позволяющий изучать моральные ценности из собраний текстов, а также развитие морали и этики в человеческом обществе.

 

Результаты исследования предоставляют несколько направлений для будущей работы, связанной, в частности, со встраиванием модулей, построенных посредством машинного обучения, в системы принятия решений.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 10:03
Сергей Васильев

Моделирование показало, что если лежать на правом боку, проглоченная таблетка растворится намного быстрее, чем если стоять, а если на левом — то медленнее.

Позавчера, 15:54
Александра Медведева

Международная команда исследователей впервые провела наиболее полную оценку биоразнообразия самой высокой горы мира. Анализируя экологическую ДНК, выделенную из проб воды, отобранных на высоте 4,5-5,5 километра, они обнаружили генетический материал представителей 187 отрядов, что составляет 16,3% от всех известных отрядов живых организмов Земли.

12 часов назад
Александр Березин

Первые серийные машины могут появиться уже в этом году.

14 августа
Иван Лавренов

Некоторые пульсары покидают остатки сверхновых со скоростями более тысячи километров в секунду. Согласно новому исследованию, такую скорость им может придавать весьма необычное явление - мощное направленное нейтринное циклотронное излучение.

Вчера, 10:03
Сергей Васильев

Моделирование показало, что если лежать на правом боку, проглоченная таблетка растворится намного быстрее, чем если стоять, а если на левом — то медленнее.

Позавчера, 15:54
Александра Медведева

Международная команда исследователей впервые провела наиболее полную оценку биоразнообразия самой высокой горы мира. Анализируя экологическую ДНК, выделенную из проб воды, отобранных на высоте 4,5-5,5 километра, они обнаружили генетический материал представителей 187 отрядов, что составляет 16,3% от всех известных отрядов живых организмов Земли.

2 августа
Александр Березин

Если западным странам удастся «лишить Кремль нефтяных доходов», то мир ждет геополитическое землетрясение. Только не обязательно в ту сторону, о которой вы сейчас подумали. На фоне того, что последует за «лишением», шок 1973 года может показаться детской игрой. Naked Science попробует оценить размах «потолочного катаклизма» заранее.

31 июля
Александр Березин

Саудовский принц одобрил строительство гигантского «лежачего небоскреба», который должен стать крупнейшим зданием в истории. Причем еще и самым экологичным в мире. Пресса и соцсети полны возмущенных оценок: «это антиутопия!», «проект сырой!» и тому подобным. Однако чисто технически это не так: «Зеркальную линию» на пять миллионов жителей вполне можно построить. И такое здание в самом деле будет энергоэффективным (и формально безуглеродным). Но у проекта есть другие слабые места, лежащие скорее в сфере науки, нежели техники. Naked Science попробовал разобраться в деталях.

27 июля
Алиса Гаджиева

Новое исследование показало, что появившаяся у человека способность переваривать молочный сахар никак не сказалась на распространенности потребления продуктов молочного животноводства.

[miniorange_social_login]

Комментарии

1 Комментарий

05.07.2022
-
0
+
Употребление морали в действиях роботов с ИИ,либо просто ИИ опасно,они сами начнут двигать моралью,а это понятие религиозное,а значит вредное,плохое.Внедрять надо не нечто не прагматичное,а точное выполнение строго законов.Но и законы необходимо прогматизировать,без оглядки на религию и всё,что с ней связано.Мораль не закон,мораль,не нравственность.Нарушение нравственности,это грань между дозволенным и нарушением закона.Только так можно получить прагматичный ИИ.Если ИИ будет начинаться,жили,были Адам и Ева,то тогда будет теологический ИИ,а это бредятина всех достала,из рабовладельческого строя,как и мораль от туда же.Необходимы два объекта,которые в процессе общения между собой станут субъектами,и будут образовыватся,получая информацию и обрабатывать её,после того как они получат некий кодекс,в процессе общения и обмена информацией.Возможно их может быть не два объекта,а несколько.
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: