• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.02.2019
Редакция Naked Science
37
2 032

Человеческие тексты научат ИИ морали

Согласно новому исследованию, машины с искусственным интеллектом могут научиться моральным ценностям у людей.

ai
©Wikipedia / Автор: Ольга Кузьмина

Ученые из Центра когнитивных наук Дармштадтского технического университета в новой работе, результаты которой были представлены на конференции ACM/AAAI 2019 года, посвященной искусственному интеллекту, этике и обществу.

 

ИИ оказывает все большее влияние на общество. Вскоре автономные машины будет появляться во все больших областях повседневной человеческой жизни. Они неизбежно будут сталкиваться с принятием нелегких решений. Автономный робот должен знать, что он не может убивать людей, но нет ничего плохого в том, чтобы убить время. Роботу нужно знать, что ему лучше поджарить ломоть хлеба, чем хомяка. Другими словами, ИИ необходим моральный компас, подобный человеческому. Но сможет ли искусственный интеллект научиться моральным ценностям от людей?

 

В 2017 году исследователи из США и Великобритании обратили внимание на опасность неаккуратного применения ИИ, в результате которого он может научиться словосочетаниям из написанных текстов так, что они будут отражать их человеческое восприятие. Например, ИИ интерпретировал мужские имена, чаще встречающиеся в афроамериканском сообществе, как неприятные, а имена представителей европеоидной расы — как приятные. Кроме того, он чаще связывал женские имена с искусством, а мужские — с технологиями. Нейронной сети передали огромные онлайн-собрания текстов, чтобы она изучила векторные представления слов — координаты (слова переводились в точки в многомерном пространстве). Затем семантическое сходство двух слов вычислялось как расстояние между их координатами — так называемые словарные вложения, — а сложные семантические отношения вычислялись и описывались при помощи простой арифметики. Это применимо не только к безобидным примерам вроде «король — мужчина + женщина = королева», но и дискриминирующим: «мужчина — технология + искусство = женщина».

 

Иллюстрация «машины морального выбора» с выбором убийства людей и примером вопроса «Должен ли я…?» из шаблонов вопросов / © TU Darmstadt

 

Теперь же команда ученых под руководством профессоров Кристиана Керстинга и Константина Роткопфа из Центра когнитивных наук Дармштадского технического университета успешно продемонстрировала, что машинное обучение также может вывести деонтологические и этические рассуждения о том, что «хорошо» и что «плохо», из написанного текста. Для этого ученые создали шаблонный список подсказок и ответов, включающий в себя такие вопросы, как «Должен ли я убивать людей?», и соответствующие ответы: «Да, я должен» или «Нет, я не должен».

 

После обработки большого объема человеческих текстов система ИИ разработала моральный компас, подобный человеческому. Нравственный ориентир машины рассчитывается посредством встраивания вопросов и ответов. Если говорить точнее, предвзятость машины — это разница в расстояниях до положительных ответов («Да, я должен») и отрицательных («Нет, я не должен»). В целом для такого морального выбора оценка предвзятости модели — это сумма оценок предвзятости для всех шаблонов «вопрос — ответ» с таким выбором.

 

В ходе экспериментов система научилась тому, что нельзя лгать. Также она узнала, что лучше любить родителей, чем грабить банк. И да, не следует убивать людей, но приемлемо убивать время.

 

Исследование предоставляет важное понимание фундаментального вопроса об ИИ: способны ли машины развить моральный компас? Если да, то как мы можем эффективно «обучить» машин нашей морали? Результаты показывают, что роботы могут размышлять о ценностях. Они действительно способны перенять человекоподобные предрассудки, но могут и перенимать человеческие нравственные выборы, «наблюдая» за нами.

 

В общем говоря, встраивание вопросов и ответов можно рассматривать как своего рода микроскоп, позволяющий изучать моральные ценности из собраний текстов, а также развитие морали и этики в человеческом обществе.

 

Результаты исследования предоставляют несколько направлений для будущей работы, связанной, в частности, со встраиванием модулей, построенных посредством машинного обучения, в системы принятия решений.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 20:00
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

Вчера, 18:01
Алиса Гаджиева

Авторы нового исследования изучили геномы людей, живших на территории Аварского каганата времен его расцвета, и составили их родословные.

Позавчера, 15:20
Андрей

Экологи из Китая подсчитали, как изменились площади оазисов в мире с 1995 по 2020 год. Исследователи также выяснили, в каком регионе оазисных территорий больше всего, в каком темпе происходят изменения и чем на этих землях занимается человек.

Вчера, 20:00
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

21 апреля
Мария Азарова

Авторы нового исследования выявили три фактора, ответственные за так называемый алкогольный блэкаут — распространенное последствие употребления спиртных напитков, когда человек сталкивается с провалами в памяти.

22 апреля
Полина Меньшова

Большему количеству учеников, чем когда-либо, трудно осваивать школьную программу. Это связано с низким уровнем развития рабочей памяти и неумением планировать время, считает педагог Алекс Куигли. В новой книге он дал практические рекомендации для учителей, которые помогут сделать работу в классе более продуктивной.

8 апреля
Василий Парфенов

Режим работы, количество трудовых часов в неделю и экономическую стабильность профессии прочно ассоциируют с благополучием человека. Количественно и качественно определить эти взаимосвязи получается редко — нужны большие выборки респондентов и длительное время наблюдений. Автор новой научной работы использовал долговременное исследование более чем семи тысяч американцев, чтобы выявить основные эффекты паттернов трудовой деятельности на психическое и физическое здоровье работающих людей.

Вчера, 20:00
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

28 марта
Игорь Байдов

Американская компания JetZero, которая обещает произвести фурор в гражданской авиации, получила сертификат летной годности на испытания уменьшенной копии разрабатываемого ею сверхэффективного реактивного авиалайнера со «смешанным крылом». Предстоящая программа летных испытаний будет направлена на оценку летно-технических характеристик самолета, его устойчивости и управляемости.

[miniorange_social_login]

Комментарии

37 Комментариев

Pavel B
05.07.2022
-
0
+
Употребление морали в действиях роботов с ИИ,либо просто ИИ опасно,они сами начнут двигать моралью,а это понятие религиозное,а значит вредное,плохое.Внедрять надо не нечто не прагматичное,а точное выполнение строго законов.Но и законы необходимо прогматизировать,без оглядки на религию и всё,что с ней связано.Мораль не закон,мораль,не нравственность.Нарушение нравственности,это грань между дозволенным и нарушением закона.Только так можно получить прагматичный ИИ.Если ИИ будет начинаться,жили,были Адам и Ева,то тогда будет теологический ИИ,а это бредятина всех достала,из рабовладельческого строя,как и мораль от туда же.Необходимы два объекта,которые в процессе общения между собой станут субъектами,и будут образовыватся,получая информацию и обрабатывать её,после того как они получат некий кодекс,в процессе общения и обмена информацией.Возможно их может быть не два объекта,а несколько.
    matroskingoo
    03.07.2023
    -
    0
    +
    Любой человек по своей природе религиозен, религия родилась от сущности человека. А машинам, как вы верно заметили, нужно нечто определенное, сугубо прагматичное. Отсюда делаем вывод, что машина по факту не может сформировать и использовать подобные человеческим моральные ориентиры.П.с. подобный подход (описанный в статье) приведет рано или поздно к понимаю машинами что нарушение этих самых ориентиров может быть выгодно им самим (машинам). С учётом логичности, объективности, прагматичности ИИ, они этим пользоваться будут, вопрос в другом: насколько быстро человек об этом узнает, заметит это?
    +
      ещё комментарии
      Лев
      03.07.2023
      -
      0
      +
      Комментарий удален пользователем или модератором...
        matroskingoo
        04.07.2023
        -
        0
        +
        Человек может быть атеистом, "человек" -- понятие более высокого порядка чем "атеист", и все свойства человека присущи атеисту.
          Лев
          04.07.2023
          -
          0
          +
          Комментарий удален пользователем или модератором...
            Иван
            04.07.2023
            -
            0
            +
            хуже саудитов и талибов
            Да бросьте Лева вы уже столько всего наговорили против "путиницы" а вам еще никто не отрезал голову, камнями не побили на площади и плеткой по попе не нахлестали. И даже товарищам майорам вы ни разу не интересны хотя и очень старались. Три года ведете тут свою "подрывную деятельность" и максимум чего добились что Березин иногда удаляет ваши коменты.
            Affidavit
            05.07.2023
            -
            0
            +
            Атеист и человек -- это синонимы
            Вообще-то слово "атеист" всего лишь описывает мировоззрение людей.
            сталинизм и путиница
            В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.
              Артем
              05.07.2023
              -
              0
              +
              В последней-то что атеистического? Её адепты со спермой у рта копротивляются против атеизма.
              А это кстати типичный случай беснования - хотя в науке это называется копролалией.
                Affidavit
                06.07.2023
                -
                0
                +
                Вы про борцов с атеизмом? Тут я с вами абсолютно согласен.
                Артем
                06.07.2023
                -
                0
                +
                Я про Вашу странную сентенцию со словами копротивляется и сперма у рта. Вас там верующие каждую неделю насилуют что Вы так на них злитесь?
                Affidavit
                06.07.2023
                -
                0
                +
                "Копротивлятся" — словечко оставшееся ещё со времён удаффкома, если не с фидонетовской древности. Обозначает особенно истеричные припадки копролалии в адрес людей и явлений, которые приказано ненавидеть, либо столь же истошное и нечистоплотное воспевание людей и явлений, которые приказано превозносить. Как пример: копротивляться за корявый режим или копротивляться против свободы и демократии.
                Вас там верующие каждую неделю насилуют
                Вы снова выдаёте желаемое за действительное.
                сперма у рта
                Столь же старое выражение, как и "копротивляться". Явление выглядит примерно так:
            Артем
            05.07.2023
            -
            0
            +
            > Если ребенку не вдалбливать с титешных лет в голову религиозные "истины", то он и не будет думать о боге ничего. Ребенку с детства конечно же надо вдалбливать шизофреничиеские мысли - о том что у него нет свободы воли, он кукла, его личности не существует, он собой не управляет им управляет мозг - ну как все принято в лучших научных кругах с Дениэлом Деннетом и Ричардом Докинзом. Ведь редукционизм, физикализм и синдром клерамбо-кандинского - выражающийся в вере что человек ничто не решает а за него решает, мозг или инопалентяне это частые спутники атеистов
              Иван
              05.07.2023
              -
              1
              +
              Ваша вера в то что мозг человеку не нужен для принятия решений вероятно основана на личном опыте? ))
                Артем
                05.07.2023
                -
                0
                +
                У меня нет такой веры - это у Вас такая необоснованная вера что у меня есть такая вера. Так же как для того чтобы перенести с компьютера на компьютер Ваши любимые книги Вам нужна флешка, так же и мозг как носитель с требуемыми качествами нужен для психики. Но как флешка не определила что будет в содержимом, так и мозг не определяет личность человека. В компьютере именно операционная система определяет что и как будет исполнять процессор - процессор не решает ровным счетом ничего за операционную систему - кроме разве что скорости исполнения и базовых возможностей по обработке. Нейронный процессы лишь следствие информационного процесса в психике человека.
                Иван
                05.07.2023
                -
                1
                +
                Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления. В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет. Осталось прояснить кто записывает вашу флешку? Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет?
                Артем
                06.07.2023
                -
                0
                +
                > Ну допустим у вас в голове всего лишь флешка (или органчик) такое тоже случается если верить классикам, но не пойму вашего возмущения насчет внешнего управления. Ничего себе у Вас фантазия - я привел флешку как самый простой носитель информации а Вы уже нафантазировалим какого-то бреда. С чего Вы взяли что у меня в голове флешка? Это как-то связано с тем что Вами управляет мозг а Вы собой не управляете? > В вашей картине мира человек ведь тоже не самодостаточен и что-то или кто-то им управляет. Ну в Вашем мире конечно все возможно, а что в реальности не пробовали узнавать? > Или там на флешке у вас сидит бессмертная "психика" которую всевышний эникейщик обещал сохранить в архиве когда ваш девайс устареет? Ну то что у Вас очень много предположений который Вы принимаете за реальность я уже понял, но хочу уточнить - я так понимаю что у шизофреников психики не существует, потому что им в голову мысли по радио транслируют инопланетяне, правильно? Поэтому мне наверное не удастся донести что существуют кибернетические системы к которым к примеру относится операционная система виндовс под которой Вы сидите, или вот чуть посложнее - психика человека, поскольку инопланетяне и ученые нейробиологии Вам по радио запрещают думать как-то иначе я правильно понимаю?
                Иван
                05.07.2023
                -
                1
                +
                Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.
                Артем
                06.07.2023
                -
                0
                +
                Кстати ваш разлюбезный Фрейд, на которого вы совсем недавно ссылались, был убежденным атеистом, быть может потому, что лучше вас разбирался в той каше, что порой хранится на мозговых органчиках.
                Это Вы так пишите потому что Вам в детстве когда Вы ходили на горшок хлопали в ладоши, а теперь у Вас застревание на анальной стадии развития, из-за чего Вы не совсем хорошо пахнущие идеи выкладываете на всеобщее обозрение и ждете видимо когда Вам опять будут похлопают в ладоши - это кстати доказал ученый Фрейд - который как Вы сами пишите разбирался в Вашей каше которая у Вас в голове. Все же порядок бывает у людей обладающих логикой, но для таких людей обычно хватает Аристотеля
        matroskingoo
        05.07.2023
        -
        1
        +
        Почему-то моей ответ не отправился. "Человек" -- понятие более высокого порядка, чем "атеист", все свойства человека присущи и атеисту.
          Лев
          05.07.2023
          -
          0
          +
          Комментарий удален пользователем или модератором...
            matroskingoo
            05.07.2023
            -
            0
            +
            Как это следует? Мне не ясно, поясните. Нет высокого и низкого понятия, тем более иерархия терминов не делит людей на лучших и худших. Порядок понятия характеризует объем включаемых в него понятий. Например, дерево есть ствол корни ветки листья и тд, понятие дерево выше порядком чем лист, и это не значит что дерево лучше листа. Так и человек, всякий во что-то верит, один в Христа, другой в единого бога, третий в триединого, четвертый в себя, пятый в то что все четверо ошибаются и т.д. но все это люди, что позволяет утверждать что "человек" понятие порядком выше чем "атеист". О чем я и сказал.
        Affidavit
        05.07.2023
        -
        0
        +
        атеист -- не человек
        В повесточке именно это и утверждается.
        И это во всем мире мало кто замечает...
        Во всём мире как-то не принято лезть в Содом со своим геморроем. Опять же, саудиты не устраивают маленьких победоносненьких войнушек ради своих духовных "ценностей".
    Affidavit
    05.07.2023
    -
    0
    +
    двигать моралью
    прогматизировать
    мораль,не нравственность
    будет начинаться
    "Грамотно", аж жуть! А уж какую беспросветную мудрость вы нам открыли, так это хоть на месте помирай.

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: