• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.02.2019
Редакция Naked Science
37
2 195

Человеческие тексты научат ИИ морали

Согласно новому исследованию, машины с искусственным интеллектом могут научиться моральным ценностям у людей.

ai
©Wikipedia / Автор: Ольга Кузьмина

Ученые из Центра когнитивных наук Дармштадтского технического университета в новой работе, результаты которой были представлены на конференции ACM/AAAI 2019 года, посвященной искусственному интеллекту, этике и обществу.

 

ИИ оказывает все большее влияние на общество. Вскоре автономные машины будет появляться во все больших областях повседневной человеческой жизни. Они неизбежно будут сталкиваться с принятием нелегких решений. Автономный робот должен знать, что он не может убивать людей, но нет ничего плохого в том, чтобы убить время. Роботу нужно знать, что ему лучше поджарить ломоть хлеба, чем хомяка. Другими словами, ИИ необходим моральный компас, подобный человеческому. Но сможет ли искусственный интеллект научиться моральным ценностям от людей?

 

В 2017 году исследователи из США и Великобритании обратили внимание на опасность неаккуратного применения ИИ, в результате которого он может научиться словосочетаниям из написанных текстов так, что они будут отражать их человеческое восприятие. Например, ИИ интерпретировал мужские имена, чаще встречающиеся в афроамериканском сообществе, как неприятные, а имена представителей европеоидной расы — как приятные. Кроме того, он чаще связывал женские имена с искусством, а мужские — с технологиями. Нейронной сети передали огромные онлайн-собрания текстов, чтобы она изучила векторные представления слов — координаты (слова переводились в точки в многомерном пространстве). Затем семантическое сходство двух слов вычислялось как расстояние между их координатами — так называемые словарные вложения, — а сложные семантические отношения вычислялись и описывались при помощи простой арифметики. Это применимо не только к безобидным примерам вроде «король — мужчина + женщина = королева», но и дискриминирующим: «мужчина — технология + искусство = женщина».

 

Иллюстрация «машины морального выбора» с выбором убийства людей и примером вопроса «Должен ли я…?» из шаблонов вопросов / © TU Darmstadt

 

Теперь же команда ученых под руководством профессоров Кристиана Керстинга и Константина Роткопфа из Центра когнитивных наук Дармштадского технического университета успешно продемонстрировала, что машинное обучение также может вывести деонтологические и этические рассуждения о том, что «хорошо» и что «плохо», из написанного текста. Для этого ученые создали шаблонный список подсказок и ответов, включающий в себя такие вопросы, как «Должен ли я убивать людей?», и соответствующие ответы: «Да, я должен» или «Нет, я не должен».

 

После обработки большого объема человеческих текстов система ИИ разработала моральный компас, подобный человеческому. Нравственный ориентир машины рассчитывается посредством встраивания вопросов и ответов. Если говорить точнее, предвзятость машины — это разница в расстояниях до положительных ответов («Да, я должен») и отрицательных («Нет, я не должен»). В целом для такого морального выбора оценка предвзятости модели — это сумма оценок предвзятости для всех шаблонов «вопрос — ответ» с таким выбором.

 

В ходе экспериментов система научилась тому, что нельзя лгать. Также она узнала, что лучше любить родителей, чем грабить банк. И да, не следует убивать людей, но приемлемо убивать время.

 

Исследование предоставляет важное понимание фундаментального вопроса об ИИ: способны ли машины развить моральный компас? Если да, то как мы можем эффективно «обучить» машин нашей морали? Результаты показывают, что роботы могут размышлять о ценностях. Они действительно способны перенять человекоподобные предрассудки, но могут и перенимать человеческие нравственные выборы, «наблюдая» за нами.

 

В общем говоря, встраивание вопросов и ответов можно рассматривать как своего рода микроскоп, позволяющий изучать моральные ценности из собраний текстов, а также развитие морали и этики в человеческом обществе.

 

Результаты исследования предоставляют несколько направлений для будущей работы, связанной, в частности, со встраиванием модулей, построенных посредством машинного обучения, в системы принятия решений.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 18:36
Юлия Трепалина

Психологи не первое десятилетие спорят о природе морали: врожденное это свойство или приобретенное? В новом исследовании ученые попытались на большой выборке малышей воспроизвести эксперимент, который ранее рассматривали как подтверждение способности младенцев различать морально правильные и неправильные действия.

Вчера, 19:00
Дарья Г.

Приливные силы от соседства с газовым гигантом поддерживают вулканическую активность на Ио, самом геологически активном теле Солнечной системы. Ученые даже предполагали, что сил хватит на растапливание пород в недрах этого спутника Юпитера. Новые измерения показали, что под «коркой» Ио все-таки нет океана магмы.

12 часов назад
Илья Ферапонтов

Совсем недавно, в начале XX века, наша Вселенная выглядела совсем не так, как сейчас. Достаточно сказать, что во Вселенной столетней давности была только одна галактика — Млечный Путь (собственно она и являлась Вселенной), и конечно, она была вечной и неизменной, «стационарной», как говорят ученые. С тех картина поменялась самым разительным образом.

8 декабря
Елена Кудрявцева

О том, где скрывается человеческое «я», что такое «знающие нейроны», какие страны наиболее активно развивают нейронауки и о том, почему нам важно признать наличие сознания у животных, мы поговорили с одним из самых выдающихся нейробиологов, директором Института перспективных исследований мозга МГУ имени М.В. Ломоносова, академиком Константином Анохиным.

10 декабря
Елизавета Александрова

В шаровом скоплении Омега Центавра надеялась найти так называемую черную дыру промежуточной массы — нечто среднее между остающимися после «умирающих» звезд небольшими черными дырами и сверхмассивными, которые наблюдают в центрах галактик. Хотя такие черные дыры ищут давно, пока их поиски в космосе безуспешны. Похоже, их нет и в Омеге Центавра, зато есть целая система из других черных дыр.

7 декабря
Любовь

Одни из самых ярких объектов во Вселенной — квазары — представляют собой активные ядра галактик, питаемые центральными сверхмассивными черными дырами. Электромагнитное излучение, испускаемое этими объектами, позволяет астрономам изучать структуру Вселенной на ранних этапах ее развития, однако мощный радиоджет, исходящий от недавно обнаруженного экстремально яркого квазара J1601+3102, ставит под сомнение существующие представления о «космической заре».

16 ноября
Evgenia

Международная коллаборация физиков под руководством ученых из Йельского университета в США представила самые убедительные на сегодня подтверждения существования нового типа сверхпроводящих материалов. Доказательство существования нематической фазы вещества — научный прорыв, открывающий путь к созданию сверхпроводимости совершенно новым способом.

28 ноября
Елизавета Александрова

Обсерватории постоянно улавливают «мигающие» радиосигналы из глубин Вселенной. Чаще всего их источниками оказываются нейтронные звезды, которые за это и назвали пульсарами. Но к недавно обнаруженному источнику GLEAM-X J0704-37 они, по мнению астрономов, отношения не имеют.

25 ноября
Полина Меньшова

Многие одинокие люди считают, что окружающие не разделяют их взглядов. Психологи из США решили проверить, так ли это на самом деле, и обнаружили общую особенность у людей с недостаточным количеством социальных связей.

[miniorange_social_login]

Комментарии

37 Комментариев
Pavel B
05.07.2022
-
0
+
Употребление морали в действиях роботов с ИИ,либо просто ИИ опасно,они сами начнут двигать моралью,а это понятие религиозное,а значит вредное,плохое.Внедрять надо не нечто не прагматичное,а точное выполнение строго законов.Но и законы необходимо прогматизировать,без оглядки на религию и всё,что с ней связано.Мораль не закон,мораль,не нравственность.Нарушение нравственности,это грань между дозволенным и нарушением закона.Только так можно получить прагматичный ИИ.Если ИИ будет начинаться,жили,были Адам и Ева,то тогда будет теологический ИИ,а это бредятина всех достала,из рабовладельческого строя,как и мораль от туда же.Необходимы два объекта,которые в процессе общения между собой станут субъектами,и будут образовыватся,получая информацию и обрабатывать её,после того как они получат некий кодекс,в процессе общения и обмена информацией.Возможно их может быть не два объекта,а несколько.
    matroskingoo
    03.07.2023
    -
    0
    +
    Любой человек по своей природе религиозен, религия родилась от сущности человека. А машинам, как вы верно заметили, нужно нечто определенное, сугубо прагматичное. Отсюда делаем вывод, что машина по факту не может сформировать и использовать подобные человеческим моральные ориентиры.П.с. подобный подход (описанный в статье) приведет рано или поздно к понимаю машинами что нарушение этих самых ориентиров может быть выгодно им самим (машинам). С учётом логичности, объективности, прагматичности ИИ, они этим пользоваться будут, вопрос в другом: насколько быстро человек об этом узнает, заметит это?
    +
      ещё комментарии
      -
      0
      +
      Комментарий удален пользователем или модератором...
        matroskingoo
        04.07.2023
        -
        0
        +
        Человек может быть атеистом, "человек" -- понятие более высокого порядка чем "атеист", и все свойства человека присущи атеисту.
          -
          0
          +
          Комментарий удален пользователем или модератором...
            -
            0
            +
            хуже саудитов и талибов
            Да бросьте Лева вы уже столько всего наговорили против "путиницы" а вам еще никто не отрезал голову, камнями не побили на площади и плеткой по попе не нахлестали. И даже товарищам майорам вы ни разу не интересны хотя и очень старались. Три года ведете тут свою "подрывную деятельность" и максимум чего добились что Березин иногда удаляет ваши коменты.
            Affidavit Donda
            05.07.2023
            -
            0
            +
            Атеист и человек -- это синонимы
            Вообще-то слово "атеист" всего лишь описывает мировоззрение людей.
            сталинизм и путиница
            В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.
              Артем
              05.07.2023
              -
              0
              +
              В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.
              А это кстати типичный случай беснования - хотя в науке это называется копролалией.
                Affidavit Donda
                06.07.2023
                -
                0
                +
                Вы про борцов с атеизмом? Тут я с вами абсолютно согласен.
                Артем
                06.07.2023
                -
                0
                +
                Я про Вашу странную сентенцию со словами копротивляется и сперма у рта. Вас там верующие каждую неделю насилуют что Вы так на них злитесь?
                Affidavit Donda
                06.07.2023
                -
                0
                +
                "Копротивлятся" — словечко оставшееся ещё со времён удаффкома, если не с фидонетовской древности. Обозначает особенно истеричные припадки копролалии в адрес людей и явлений, которые приказано ненавидеть, либо столь же истошное и нечистоплотное воспевание людей и явлений, которые приказано превозносить. Как пример: копротивляться за корявый режим или копротивляться против свободы и демократии.
                Вас там верующие каждую неделю насилуют
                Вы снова выдаёте желаемое за действительное.
                сперма у рта
                Столь же старое выражение, как и "копротивляться". Явление выглядит примерно так:
            Артем
            05.07.2023
            -
            0
            +
            > Если ребенку не вдалбливать с титешных лет в голову религиозные "истины", то он и не будет думать о боге ничего. Ребенку с детства конечно же надо вдалбливать шизофреничиеские мысли - о том что у него нет свободы воли, он кукла, его личности не существует, он собой не управляет им управляет мозг - ну как все принято в лучших научных кругах с Дениэлом Деннетом и Ричардом Докинзом. Ведь редукционизм, физикализм и синдром клерамбо-кандинского - выражающийся в вере что человек ничто не решает а за него решает, мозг или инопалентяне это частые спутники атеистов
              -
              1
              +
              Ваша вера в то что мозг человеку не нужен для принятия решений вероятно основана на личном опыте? ))
                Артем
                05.07.2023
                -
                0
                +
                У меня нет такой веры - это у Вас такая необоснованная вера что у меня есть такая вера. Так же как для того чтобы перенести с компьютера на компьютер Ваши любимые книги Вам нужна флешка, так же и мозг как носитель с требуемыми качествами нужен для психики. Но как флешка не определила что будет в содержимом, так и мозг не определяет личность человека. В компьютере именно операционная система определяет что и как будет исполнять процессор - процессор не решает ровным счетом ничего за операционную систему - кроме разве что скорости исполнения и базовых возможностей по обработке. Нейронный процессы лишь следствие информационного процесса в психике человека.
                -
                1
                +
                Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления. В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет. Осталось прояснить кто записывает вашу флешку? Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет?
                Артем
                06.07.2023
                -
                0
                +
                > Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления. Ничего себе у Вас фантазия - я привел флешку как самый простой носитель информации а Вы уже нафантазировалим какого-то бреда. С чего Вы взяли что у меня в голове флешка? Это как-то связано с тем что Вами управляет мозг а Вы собой не управляете? > В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет. Ну в Вашем мире конечно все возможно, а что в реальности не пробовали узнавать? > Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет? Ну то что у Вас очень много предположений который Вы принимаете за реальность я уже понял, но хочу уточнить - я так понимаю что у шизофреников психики не существует, потому что им в голову мысли по радио транслируют инопланетяне, правильно? Поэтому мне наверное не удастся донести что существуют кибернетические системы к которым к примеру относится операционная система виндовс под которой Вы сидите, или вот чуть посложнее - психика человека, поскольку инопланетяне и ученые нейробиологии Вам по радио запрещают думать как-то иначе я правильно понимаю?
                -
                1
                +
                Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.
                Артем
                06.07.2023
                -
                0
                +
                Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.
                Это Вы так пишите потому что Вам в детстве когда Вы ходили на горшок хлопали в ладоши, а теперь у Вас застревание на анальной стадии развития, из-за чего Вы не совсем хорошо пахнущие идеи выкладываете на всеобщее обозрение и ждете видимо когда Вам опять будут похлопают в ладоши - это кстати доказал ученый Фрейд - который как Вы сами пишите разбирался в Вашей каше которая у Вас в голове. Все же порядок бывает у людей обладающих логикой, но для таких людей обычно хватает Аристотеля
        matroskingoo
        05.07.2023
        -
        1
        +
        Почему-то моей ответ не отправился. "Человек" -- понятие более высокого порядка, чем "атеист", все свойства человека присущи и атеисту.
          -
          0
          +
          Комментарий удален пользователем или модератором...
            matroskingoo
            05.07.2023
            -
            0
            +
            Как это следует? Мне не ясно, поясните. Нет высокого и низкого понятия, тем более иерархия терминов не делит людей на лучших и худших. Порядок понятия характеризует объем включаемых в него понятий. Например, дерево есть ствол корни ветки листья и тд, понятие дерево выше порядком чем лист, и это не значит что дерево лучше листа. Так и человек, всякий во что-то верит, один в Христа, другой в единого бога, третий в триединого, четвертый в себя, пятый в то что все четверо ошибаются и т.д. но все это люди, что позволяет утверждать что "человек" понятие порядком выше чем "атеист". О чем я и сказал.
        Affidavit Donda
        05.07.2023
        -
        0
        +
        атеист -- не человек
        В повесточке именно это и утверждается.
        И это во всем мире мало кто замечает...
        Во всём мире как-то не принято лезть в Содом со своим геморроем. Опять же, саудиты не устраивают маленьких победоносненьких войнушек ради своих духовных "ценностей".
    Affidavit Donda
    05.07.2023
    -
    0
    +
    двигать моралью
    прогматизировать
    мораль,не нравственность
    будет начинаться
    "Грамотно", аж жуть! А уж какую беспросветную мудрость вы нам открыли, так это хоть на месте помирай.