Рубрика Hi-Tech

Человеческие тексты научат ИИ морали

Согласно новому исследованию, машины с искусственным интеллектом могут научиться моральным ценностям у людей.

Ученые из Центра когнитивных наук Дармштадтского технического университета в новой работе, результаты которой были представлены на конференции ACM/AAAI 2019 года, посвященной искусственному интеллекту, этике и обществу.

 

ИИ оказывает все большее влияние на общество. Вскоре автономные машины будет появляться во все больших областях повседневной человеческой жизни. Они неизбежно будут сталкиваться с принятием нелегких решений. Автономный робот должен знать, что он не может убивать людей, но нет ничего плохого в том, чтобы убить время. Роботу нужно знать, что ему лучше поджарить ломоть хлеба, чем хомяка. Другими словами, ИИ необходим моральный компас, подобный человеческому. Но сможет ли искусственный интеллект научиться моральным ценностям от людей?

 

В 2017 году исследователи из США и Великобритании обратили внимание на опасность неаккуратного применения ИИ, в результате которого он может научиться словосочетаниям из написанных текстов так, что они будут отражать их человеческое восприятие. Например, ИИ интерпретировал мужские имена, чаще встречающиеся в афроамериканском сообществе, как неприятные, а имена представителей европеоидной расы — как приятные. Кроме того, он чаще связывал женские имена с искусством, а мужские — с технологиями. Нейронной сети передали огромные онлайн-собрания текстов, чтобы она изучила векторные представления слов — координаты (слова переводились в точки в многомерном пространстве). Затем семантическое сходство двух слов вычислялось как расстояние между их координатами — так называемые словарные вложения, — а сложные семантические отношения вычислялись и описывались при помощи простой арифметики. Это применимо не только к безобидным примерам вроде «король — мужчина + женщина = королева», но и дискриминирующим: «мужчина — технология + искусство = женщина».

 

Иллюстрация «машины морального выбора» с выбором убийства людей и примером вопроса «Должен ли я…?» из шаблонов вопросов / © TU Darmstadt

 

Теперь же команда ученых под руководством профессоров Кристиана Керстинга и Константина Роткопфа из Центра когнитивных наук Дармштадского технического университета успешно продемонстрировала, что машинное обучение также может вывести деонтологические и этические рассуждения о том, что «хорошо» и что «плохо», из написанного текста. Для этого ученые создали шаблонный список подсказок и ответов, включающий в себя такие вопросы, как «Должен ли я убивать людей?», и соответствующие ответы: «Да, я должен» или «Нет, я не должен».

 

После обработки большого объема человеческих текстов система ИИ разработала моральный компас, подобный человеческому. Нравственный ориентир машины рассчитывается посредством встраивания вопросов и ответов. Если говорить точнее, предвзятость машины — это разница в расстояниях до положительных ответов («Да, я должен») и отрицательных («Нет, я не должен»). В целом для такого морального выбора оценка предвзятости модели — это сумма оценок предвзятости для всех шаблонов «вопрос — ответ» с таким выбором.

 

В ходе экспериментов система научилась тому, что нельзя лгать. Также она узнала, что лучше любить родителей, чем грабить банк. И да, не следует убивать людей, но приемлемо убивать время.

 

Исследование предоставляет важное понимание фундаментального вопроса об ИИ: способны ли машины развить моральный компас? Если да, то как мы можем эффективно «обучить» машин нашей морали? Результаты показывают, что роботы могут размышлять о ценностях. Они действительно способны перенять человекоподобные предрассудки, но могут и перенимать человеческие нравственные выборы, «наблюдая» за нами.

 

В общем говоря, встраивание вопросов и ответов можно рассматривать как своего рода микроскоп, позволяющий изучать моральные ценности из собраний текстов, а также развитие морали и этики в человеческом обществе.

 

Результаты исследования предоставляют несколько направлений для будущей работы, связанной, в частности, со встраиванием модулей, построенных посредством машинного обучения, в системы принятия решений.

 

Комментарии

  • Употребление морали в действиях роботов с ИИ,либо просто ИИ опасно,они сами начнут двигать моралью,а это понятие религиозное,а значит вредное,плохое.Внедрять надо не нечто не прагматичное,а точное выполнение строго законов.Но и законы необходимо прогматизировать,без оглядки на религию и всё,что с ней связано.Мораль не закон,мораль,не нравственность.Нарушение нравственности,это грань между дозволенным и нарушением закона.Только так можно получить прагматичный ИИ.Если ИИ будет начинаться,жили,были Адам и Ева,то тогда будет теологический ИИ,а это бредятина всех достала,из рабовладельческого строя,как и мораль от туда же.Необходимы два объекта,которые в процессе общения между собой станут субъектами,и будут образовыватся,получая информацию и обрабатывать её,после того как они получат некий кодекс,в процессе общения и обмена информацией.Возможно их может быть не два объекта,а несколько.

    • Любой человек по своей природе религиозен, религия родилась от сущности человека. А машинам, как вы верно заметили, нужно нечто определенное, сугубо прагматичное. Отсюда делаем вывод, что машина по факту не может сформировать и использовать подобные человеческим моральные ориентиры.П.с. подобный подход (описанный в статье) приведет рано или поздно к понимаю машинами что нарушение этих самых ориентиров может быть выгодно им самим (машинам). С учётом логичности, объективности, прагматичности ИИ, они этим пользоваться будут, вопрос в другом: насколько быстро человек об этом узнает, заметит это?

      • Комментарий удален пользователем или модератором...

        • Человек может быть атеистом, "человек" -- понятие более высокого порядка чем "атеист", и все свойства человека присущи атеисту.

          • Комментарий удален пользователем или модератором...

          • хуже саудитов и талибов

            Да бросьте Лева вы уже столько всего наговорили против "путиницы" а вам еще никто не отрезал голову, камнями не побили на площади и плеткой по попе не нахлестали. И даже товарищам майорам вы ни разу не интересны хотя и очень старались. Три года ведете тут свою "подрывную деятельность" и максимум чего добились что Березин иногда удаляет ваши коменты.

          • Комментарий удален пользователем или модератором...

          • В общем, если меня еще не оштрафовали или не посадили, то это всего лишь в силу моей крайней незначительности и отсутствия у меня старания привлечь внимание "товарища майора".

            Можно скорую вызвать? Тут у человека паранойка началась острая. Между прочим лечится в дурке от такого очень атеистично

          • Комментарий удален пользователем или модератором...

          • Я не слежу за Вами не бойтесь пожалуйста)

          • Комментарий удален пользователем или модератором...

          • "-- Бояться их, конечно, не следует, а с опаской относиться обязательно. Это для дела полезней".

            Откуда цитата?

          • Комментарий удален пользователем или модератором...

          • Пунктуация русского языка причиняет вам настолько непереносимые нравственные страдания, что вы старательно её игнорируете?

          • Пунктуация русского языка причиняет вам настолько непереносимые нравственные страдания, что вы старательно её игнорируете?

            Мне просто можно

          • Комментарий удален пользователем или модератором...

          • Комментарий удален пользователем или модератором...

          • Атеист и человек -- это синонимы

            Вообще-то слово "атеист" всего лишь описывает мировоззрение людей.

            сталинизм и путиница

            В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.

          • В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.

            А это кстати типичный случай беснования - хотя в науке это называется копролалией.

          • Вы про борцов с атеизмом? Тут я с вами абсолютно согласен.

          • Я про Вашу странную сентенцию со словами копротивляется и сперма у рта. Вас там верующие каждую неделю насилуют что Вы так на них злитесь?

          • "Копротивлятся" — словечко оставшееся ещё со времён удаффкома, если не с фидонетовской древности. Обозначает особенно истеричные припадки копролалии в адрес людей и явлений, которые приказано ненавидеть, либо столь же истошное и нечистоплотное воспевание людей и явлений, которые приказано превозносить.
            Как пример: копротивляться за корявый режим или копротивляться против свободы и демократии.

            Вас там верующие каждую неделю насилуют

            Вы снова выдаёте желаемое за действительное.

            сперма у рта

            Столь же старое выражение, как и "копротивляться". Явление выглядит примерно так:

          • > Если ребенку не вдалбливать с титешных лет в голову религиозные "истины", то он и не будет думать о боге ничего.

            Ребенку с детства конечно же надо вдалбливать шизофреничиеские мысли - о том что у него нет свободы воли, он кукла, его личности не существует, он собой не управляет им управляет мозг - ну как все принято в лучших научных кругах с Дениэлом Деннетом и Ричардом Докинзом. Ведь редукционизм, физикализм и синдром клерамбо-кандинского - выражающийся в вере что человек ничто не решает а за него решает, мозг или инопалентяне это частые спутники атеистов

          • Ваша вера в то что мозг человеку не нужен для принятия решений вероятно основана на личном опыте? ))

          • У меня нет такой веры - это у Вас такая необоснованная вера что у меня есть такая вера.
            Так же как для того чтобы перенести с компьютера на компьютер Ваши любимые книги Вам нужна флешка, так же и мозг как носитель с требуемыми качествами нужен для психики. Но как флешка не определила что будет в содержимом, так и мозг не определяет личность человека. В компьютере именно операционная система определяет что и как будет исполнять процессор - процессор не решает ровным счетом ничего за операционную систему - кроме разве что скорости исполнения и базовых возможностей по обработке. Нейронный процессы лишь следствие информационного процесса в психике человека.

          • Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления. В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет. Осталось прояснить кто записывает вашу флешку? Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет?

          • > Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления.

            Ничего себе у Вас фантазия - я привел флешку как самый простой носитель информации а Вы уже нафантазировалим какого-то бреда. С чего Вы взяли что у меня в голове флешка? Это как-то связано с тем что Вами управляет мозг а Вы собой не управляете?

            > В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет.

            Ну в Вашем мире конечно все возможно, а что в реальности не пробовали узнавать?

            > Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет?

            Ну то что у Вас очень много предположений который Вы принимаете за реальность я уже понял, но хочу уточнить - я так понимаю что у шизофреников психики не существует, потому что им в голову мысли по радио транслируют инопланетяне, правильно? Поэтому мне наверное не удастся донести что существуют кибернетические системы к которым к примеру относится операционная система виндовс под которой Вы сидите, или вот чуть посложнее - психика человека, поскольку инопланетяне и ученые нейробиологии Вам по радио запрещают думать как-то иначе я правильно понимаю?

          • Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.

          • Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.

            Это Вы так пишите потому что Вам в детстве когда Вы ходили на горшок хлопали в ладоши, а теперь у Вас застревание на анальной стадии развития, из-за чего Вы не совсем хорошо пахнущие идеи выкладываете на всеобщее обозрение и ждете видимо когда Вам опять будут похлопают в ладоши - это кстати доказал ученый Фрейд - который как Вы сами пишите разбирался в Вашей каше которая у Вас в голове. Все же порядок бывает у людей обладающих логикой, но для таких людей обычно хватает Аристотеля

        • Почему-то моей ответ не отправился.
          "Человек" -- понятие более высокого порядка, чем "атеист", все свойства человека присущи и атеисту.

          • Комментарий удален пользователем или модератором...

          • Как это следует? Мне не ясно, поясните. Нет высокого и низкого понятия, тем более иерархия терминов не делит людей на лучших и худших. Порядок понятия характеризует объем включаемых в него понятий. Например, дерево есть ствол корни ветки листья и тд, понятие дерево выше порядком чем лист, и это не значит что дерево лучше листа. Так и человек, всякий во что-то верит, один в Христа, другой в единого бога, третий в триединого, четвертый в себя, пятый в то что все четверо ошибаются и т.д. но все это люди, что позволяет утверждать что "человек" понятие порядком выше чем "атеист". О чем я и сказал.

          • Комментарий удален пользователем или модератором...

          • Так, тогда для чего вы на этот факт указываете?

        • атеист -- не человек

          В повесточке именно это и утверждается.

          И это во всем мире мало кто замечает...

          Во всём мире как-то не принято лезть в Содом со своим геморроем. Опять же, саудиты не устраивают маленьких победоносненьких войнушек ради своих духовных "ценностей".

    • двигать моралью

      прогматизировать

      мораль,не нравственность

      будет начинаться

      "Грамотно", аж жуть! А уж какую беспросветную мудрость вы нам открыли, так это хоть на месте помирай.