Человеческие тексты научат ИИ морали — Naked Science
8 минут
Редакция

Человеческие тексты научат ИИ морали

Согласно новому исследованию, машины с искусственным интеллектом могут научиться моральным ценностям у людей.

ai
©Wikipedia

Ученые из Центра когнитивных наук Дармштадтского технического университета в новой работе, результаты которой были представлены на конференции ACM/AAAI 2019 года, посвященной искусственному интеллекту, этике и обществу.

 

ИИ оказывает все большее влияние на общество. Вскоре автономные машины будет появляться во все больших областях повседневной человеческой жизни. Они неизбежно будут сталкиваться с принятием нелегких решений. Автономный робот должен знать, что он не может убивать людей, но нет ничего плохого в том, чтобы убить время. Роботу нужно знать, что ему лучше поджарить ломоть хлеба, чем хомяка. Другими словами, ИИ необходим моральный компас, подобный человеческому. Но сможет ли искусственный интеллект научиться моральным ценностям от людей?

 

В 2017 году исследователи из США и Великобритании обратили внимание на опасность неаккуратного применения ИИ, в результате которого он может научиться словосочетаниям из написанных текстов так, что они будут отражать их человеческое восприятие. Например, ИИ интерпретировал мужские имена, чаще встречающиеся в афроамериканском сообществе, как неприятные, а имена представителей европеоидной расы — как приятные. Кроме того, он чаще связывал женские имена с искусством, а мужские — с технологиями. Нейронной сети передали огромные онлайн-собрания текстов, чтобы она изучила векторные представления слов — координаты (слова переводились в точки в многомерном пространстве). Затем семантическое сходство двух слов вычислялось как расстояние между их координатами — так называемые словарные вложения, — а сложные семантические отношения вычислялись и описывались при помощи простой арифметики. Это применимо не только к безобидным примерам вроде «король — мужчина + женщина = королева», но и дискриминирующим: «мужчина — технология + искусство = женщина».

 

Иллюстрация «машины морального выбора» с выбором убийства людей и примером вопроса «Должен ли я…?» из шаблонов вопросов / © TU Darmstadt

 

Теперь же команда ученых под руководством профессоров Кристиана Керстинга и Константина Роткопфа из Центра когнитивных наук Дармштадского технического университета успешно продемонстрировала, что машинное обучение также может вывести деонтологические и этические рассуждения о том, что «хорошо» и что «плохо», из написанного текста. Для этого ученые создали шаблонный список подсказок и ответов, включающий в себя такие вопросы, как «Должен ли я убивать людей?», и соответствующие ответы: «Да, я должен» или «Нет, я не должен».

 

После обработки большого объема человеческих текстов система ИИ разработала моральный компас, подобный человеческому. Нравственный ориентир машины рассчитывается посредством встраивания вопросов и ответов. Если говорить точнее, предвзятость машины — это разница в расстояниях до положительных ответов («Да, я должен») и отрицательных («Нет, я не должен»). В целом для такого морального выбора оценка предвзятости модели — это сумма оценок предвзятости для всех шаблонов «вопрос — ответ» с таким выбором.

 

В ходе экспериментов система научилась тому, что нельзя лгать. Также она узнала, что лучше любить родителей, чем грабить банк. И да, не следует убивать людей, но приемлемо убивать время.

 

Исследование предоставляет важное понимание фундаментального вопроса об ИИ: способны ли машины развить моральный компас? Если да, то как мы можем эффективно «обучить» машин нашей морали? Результаты показывают, что роботы могут размышлять о ценностях. Они действительно способны перенять человекоподобные предрассудки, но могут и перенимать человеческие нравственные выборы, «наблюдая» за нами.

 

В общем говоря, встраивание вопросов и ответов можно рассматривать как своего рода микроскоп, позволяющий изучать моральные ценности из собраний текстов, а также развитие морали и этики в человеческом обществе.

 

Результаты исследования предоставляют несколько направлений для будущей работы, связанной, в частности, со встраиванием модулей, построенных посредством машинного обучения, в системы принятия решений.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
11 часов назад
4 минуты
Сергей Васильев

Черная звезда Уникорн находится в 1500 световых годах и имеет массу около трех масс Солнца.

Вчера, 16:44
7 минут
Василий Парфенов

Глава государственной корпорации по космической деятельности «Роскосмос» поделился с журналистами некоторыми деталями о проекте национальной космической орбитальной станции. Кроме того, Дмитрий Рогозин сообщил, что с партнерами по Международной космической станции (МКС) начались переговоры о судьбе российского сегмента.

7 часов назад
14 минут
Василий Парфенов

Огневые испытания уже 15-го номерного прототипа многоразовой космической системы Starship изначально были запланированы на прошлые выходные, а полет на высоту в 10 километров — на 20 апреля. Но ни то, ни другое мероприятие так и не состоялось, несмотря на многократно анонсированные перекрытия дорог около деревеньки Бока-Чика (с недавних пор также известной как Starbase) и разрешение регуляторных органов (FAA). Задержка составляет уже около недели, новая дата прожига двигателей назначена на пятницу. А пока разбираемся, что там в Техасе у SpaceX с этим проектом происходит и стоит ли переживать (или злорадствовать, кому что ближе) из-за очередных переносов.

16 апреля
4 минуты
Илья Ведмеденко

Исследователи установили, что обнаруженный в Баренцевом море объект — погибшая советская субмарина типа «Крейсерская». Это одна из самых больших подлодок СССР периода Второй мировой.

16 апреля
8 минут
Александр Березин

Исследователь из Гарварда проанализировал вероятность полного оледенения всей поверхности — включая экватор — для планет земного типа. Оказалось, это частый сценарий. И он может быть причиной уничтожения всей сложной жизни. Работа показывает неожиданную уязвимость нашей планеты для такого хода событий. По расчетам, в последние 20 тысяч лет Земля прошла буквально в нескольких градусах от полного и постоянного оледенения, исключающего выживание крупных наземных многоклеточных.

18 апреля
7 минут
Василий Парфенов

Уже этой осенью в путешествие отправится крупнейший из созданных человеком космических телескопов — JWST. Он не только сменит на «посту» стремительно устаревающего «Хаббла», но и существенно раздвинет границы нашего понимания Вселенной. Американские астрономы с помощью моделирования показали, насколько быстро этот научный инструмент сможет обнаружить биосигнатуры в атмосферах планет у других звезд.

25 марта
36 минут
Александр Березин

Улыбающийся мультимиллиардер планирует понять, насколько эффективно мел в стратосфере защищает планету от солнечного света, и если результат хорош, распылить его там в гигантских количествах. Потенциально это результативная задумка: ученые давно показали, что так можно добиться полного покрытия Земли устойчивыми льдами — вплоть до экватора. Увы, идея Гейтса — плагиат, причем не лучший. Советский исследователь предложил похожее полвека назад с более эффективной серой. Интереснее другое: подобные мероприятия один раз едва не уничтожили человечество. Разбираемся в деталях, а также в том, грозит ли нам повторение.

31 марта
51 минута
Александр Березин

Самый зловещий оружейный проект всех времен и народов — термоядерная торпеда, предназначенная для радиационного поражения огромных площадей и создания искусственного цунами. Никогда до этого ни одна страна даже не заявляла о намерении сделать нечто настолько опасное для живых существ. Поэтому российский проект «Посейдон», обещающий именно это, вызывает бурю эмоций. Однако тщательный технический анализ показывает: в реальности он будет совсем не таким, как об этом пишут в СМИ. Даже если он предназначен для радиационного поражения обширных площадей, оно не будет долгим. А уже через год «омытые» им районы будут абсолютно безопасны. Тем не менее новая система действительно изменит стратегический баланс на планете — но не так, как все думают. Попробуем разобраться в ситуации подробнее.

26 марта
12 минут
Василий Парфенов

Похоже, история с американскими военными и «неопознанными воздушными феноменами» только набирает обороты. Новое расследование раскрыло многократные встречи нескольких кораблей Военно-морского флота Соединенных Штатов с аномально ведущими себя летательными аппаратами. Причем происходило это вне пределов досягаемости для любого коммерческого дрона или иного известного компактного БПЛА.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: