• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
12.01.2021, 13:24
Ольга Иванова
7
7,5 тыс

Исследование показало, что люди не смогут управлять сверхразумными машинами

❋ 4.8

Международная группа ученых продемонстрировала, что управление сверхразумным искусственным интеллектом невозможно.

Исследование показало, что люди не смогут управлять сверхразумными машинами / ©Getty images / Автор: Екатерина Лебедева

Работа опубликована в Journal of Artificial Intelligence Research. Опасность, которая может исходить от сверхразумного ИИ, как известно, в красках описана в блокбастерах о Терминаторе. Представители разных научных дисциплин, в том числе специалисты из Центра людей и машин Института развития человека Макса Планка, решили проверить, насколько человек способен управлять сверхинтеллектуальными роботами.

«Сверхразумная машина, которая управляет миром — звучит как научная фантастика. Но уже есть роботы, выполняющие определенные важные задачи независимо. При этом программисты вообще не понимают, как они этому научились. В результате возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества?» — говорит один из авторов исследования Мануэль Себриан, руководитель группы цифровой мобилизации в Центре людей и машин Института Макса Планка.

Чтобы ответить на этот вопрос, ученые использовали моделирование и теоретические расчеты. Как выяснилось, даже если заложить в сверхразумную машину данные об этических принципах и ограничить ее связи с внешним миром (например, отключить доступ в интернет), это не спасет человечество от рисков того, что подобная система выйдет из-под контроля.

Дело в том, что, согласно теории информатики, любой из алгоритмов такого сдерживания — будь то программы об этических принципах или ограничение доступа к внешнему миру — уязвим и при определенных обстоятельствах вполне способен отключить сам себя. Поэтому специалисты делают вывод, что управлять сверхразумным ИИ человек попросту не сможет и ситуация рано или поздно может выйти из-под контроля.

«Мы утверждаем, что полное сдерживание в принципе невозможно из-за фундаментальных ограничений, присущих самому вычислению. Сверхразум будет содержать программу, которая включает в себя все программы, осуществляемые при помощи универсальной машины Тьюринга, потенциально столь же сложной, как состояние мира», — заключают исследователи.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
10 февраля, 08:00
Татьяна Зайцева

В нервной системе пациентов с этим заболеванием обнаружили значительные скопления иммунных клеток, нацеленных на вирус. Это может свидетельствовать о том, что вирус Эпштейна — Барр способен активно провоцировать иммунную систему.

9 февраля, 09:00
ПНИПУ

Канализационный коллектор — скрытый источник загрязнения воздуха в городе. Через его вентиляционные шахты накопленный сероводород и другие агрессивные газы вместе с патогенной микрофлорой выталкиваются на поверхность при сверхплановом заполнении. Эта ядовитая смесь вредит здоровью людей и разъедает бетонные конструкции канализаций. Существующие сегодня защитные механизмы и дорогостоящие вентиляционные системы очистки имеют ограничения: конечные фильтры при достижении пиковой концентрации опасных испарений уходят в аварийный режим. Ученые ПНИПУ и компании «Вентмонтаж» разработали новое решение на основе гидрофильтра. Внедрение системы избавит воздух на 96,8% от механических примесей и на 65% снизит выброс агрессивных газов, а с помощью озонатора обеспечит полное обеззараживание.

10 февраля, 10:20
Максим Абдулаев

Анализ грунта, доставленного с астероида Бенну миссией NASA OSIRIS-REx, показал, что аминокислоты в космосе могут образовываться не только в горячих недрах небесных тел, но и в глубоком холоде. Сравнив образцы Бенну с метеоритом Мурчисон, ученые выяснили, что простейшая аминокислота — глицин — имеет разную химическую историю. Если в метеорите она синтезировалась в теплой жидкой воде, то на Бенну возникла в первичных льдах еще до формирования Солнечной системы.

6 февраля, 10:11
Александр Березин

В 1980-х годах большую популярность приобрела борьба с озоновыми дырами. Из-за нее хладагенты из хлорфторгулеродов заменили на аналоги из гидрофторуглеродов. Теперь ученые выяснили, что эта замена — как и следующие за ней, уже в рамках борьбы с глобальным потеплением — ведет к накоплению в атмосфере довольно опасных «вечных химикатов».

9 февраля, 13:50
Андрей Серегин

Паническое расстройство характеризуется физическим напряжением, усиленным сердцебиением и одышкой. Ученые из Бразилии нашли способ бороться с этим недугом, создавая схожее физическое напряжение, но в спокойной и контролируемой обстановке — во время физупражнений.

10 февраля, 11:01
СГМУ им. В.И. Разумовского

Латентный железодефицит и железодефицитная анемия остаются одними из самых распространенных патологических состояний. Пациенты нередко задаются вопросом: возможно ли скорректировать дефицит железа, лишь обогатив рацион железосодержащими продуктами, вроде красного мяса, свеклы, гранатов? Несмотря на логичность этого подхода, современные клинические рекомендации единодушно указывают на его несостоятельность в качестве основного лечения.

12 января, 15:39
Александр Березин

От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.

28 января, 10:50
Игорь Байдов

Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.

26 января, 14:26
Александр Березин

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

[miniorange_social_login]

Комментарии

7 Комментариев
DELETED
14.01.2021
-
0
+
Вон он, змей, в окне маячит — За спиною штепсель прячет, Подал знак кому-то — значит Фельдшер вырвет провода.
Бред какой-то. Непонятно вообще сейчас, как разум работает, как интеллект работает. А что такое сверхразум, я вообще не знаю. Программы сейчас работающие, не могут сами себя осознавать, ставить себе цели, понимать, что есть зло и добро, что есть препятствие и т.д. Да, они могут перемолоть за пару дней шахматные варианты, и начать легко обыгрывать чемпионов мира-людей. И что с того? Они не обладают сознанием на биологической основе, а других основ пока не известно. Они не могут эволюционировать в общем плане, а только в специфическом.
    И эти люди критикуют Рогозина )) Да ведь точно та же психология привела к провалу российской космической программы. Не будет, не полетит, не сможет, неизвестно и не получится. Но у Маска таки получилось и теперь приходится кусать локти и думать что с этим делать. Так причем здесь калькуляторы? Или нынешнее состояние вычислительной техники? Речь в статье о возможности управления машиной, способной ставить цели и осознавать себя. Когда такая машина будет создана, будет немного поздно думать о контроле над ней. Увы, человечество и раньше наступало на эти грабли - сперва создавало угрозу своему существованию, а потом ломало голову что с этим делать.
    +
      ещё комментарии
      Машина не может осознавать себя, для этого нужны нейроны, и это изменить нельзя. Может быть пока. Сознание возникает только в случае, когда таламус связан с префронтальной корой. Когда таламус не связан с префронтальной корой, то человек - либо спит, либо под наркозом. Исходя из бреда этой статьи, сверхразум тоже построен на биологической основе... Ох, долго смиялсо...
        Честно так и не нашел где в статье сказано что "сверхразум построен на биологической основе" Наоборот все время речь идет о программах и приборах.
          Все одно - полный бред. "Управление сверхразумом невозможно". Даже если это так - и что ? Много чем, даже давно известным, управлять нельзя сейчас, и никогда не получится управлять. Цунами, ураганами. Погодой. Движением астероидов, метеоритов, комет. Накоплением углерода в атмосфере. Химическими процессам в вашем теле, проходящими прямо сейчас. И что? Представьте такой доклад - ой, все, мы помираем, не можем остановить метаболизм в своем теле. Катастрофа, блин. Если же подразумевается некий "сверхразум" на кремниевой основе - я вот тоже не пойму, в чем страх. Кремниевые устройства раскрошить - пара пустяков. Направьте на них ульрафиолетовую лампу. Создайте сильное эл-магн. поле или сильный импульс. Отключите свет, в конце-то концов. Разум на биологич основе переживет отключение света даже на долгие годы, "сверхразум" - нет. Если кто-то боится роботов, просто не открывайте им дверь. Они до сих пор не могут ручку дверную повернуть, и нажать на полотно двери. Если под "сверхразумом" подразумеваются алгоритмы, которые быстро что-то делают, гораздо быстрее человека - ну так это что, в первый раз что ли. Станок ткацкий, созданный пару сотен лет назад, например, в сотни раз производительнее ручного ткача. И что? И станок, и "сверхразум", не осознают себя и свои действия. Повторяю еще раз, для сознания нужны нейроны. Наличие большого кол-ва нейронов - крупнейшее преимущество сапиенса, и позволившее ему так подняться. Плюс другие факторы - нейропластичность и т.д. Станком тоже не получается управлять в режиме реального времени, прямо сейчас, секунда в секунду. Только когда он пару штук полотна спрядет с ошибками, это увидят, и его застопорят. Так и "сверхразум" остановят. Если понадобится. "Ветер, вырывающий с корнем деревья, не осознает того, что он делает" (с) строфа Букко из письма Такуана "О дзене и искусстве фехтования". Обратите внимание, как тонко подмечено различие природы и человека.
            Ой я вас умоляю. Вам до сих пор представляется тупенький терминатор из будущего который придет забрать ваши деньги, косуху и мотоцикл. Просто посмотрите Газонокосильщика, картинка лучше тысячи слов. Деньги кстати у вас может забрать уже сейчас даже простенький алгоритм, мотоцикл и куртка ему в сети без надобности. А вот чтобы остановить сверхразум распределенный в Сети придется уничтожить большую часть интернета и прочую инфраструктуру по всему миру. Что не так-то просто ведь интернет проектировался так чтобы пережить даже ядерную войну. Конечно можно откатиться в доэлектрическую эру, перерезать все провода в округе и бегать по периметру с дробовиками. Пока ИИ не отправит к вам парочку дронов с хеллфайрами. Или чего посерьезней если ему надоест с вами возиться. Что до осознания так это все чушь. Человек тоже ничего не осознает. Во всяком случае еще никто не смог объяснить как это работает. На уровне клеток мозг такой же механизм как и нейросеть. Сильно подозреваю что тут дело лишь в сложности.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно