7
7,6 тыс

Исследование показало, что люди не смогут управлять сверхразумными машинами

❋ 4.8

Международная группа ученых продемонстрировала, что управление сверхразумным искусственным интеллектом невозможно.

Исследование показало, что люди не смогут управлять сверхразумными машинами
Исследование показало, что люди не смогут управлять сверхразумными машинами / ©Getty images

Работа опубликована в Journal of Artificial Intelligence Research. Опасность, которая может исходить от сверхразумного ИИ, как известно, в красках описана в блокбастерах о Терминаторе. Представители разных научных дисциплин, в том числе специалисты из Центра людей и машин Института развития человека Макса Планка, решили проверить, насколько человек способен управлять сверхинтеллектуальными роботами.

«Сверхразумная машина, которая управляет миром — звучит как научная фантастика. Но уже есть роботы, выполняющие определенные важные задачи независимо. При этом программисты вообще не понимают, как они этому научились. В результате возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества?» — говорит один из авторов исследования Мануэль Себриан, руководитель группы цифровой мобилизации в Центре людей и машин Института Макса Планка.

Чтобы ответить на этот вопрос, ученые использовали моделирование и теоретические расчеты. Как выяснилось, даже если заложить в сверхразумную машину данные об этических принципах и ограничить ее связи с внешним миром (например, отключить доступ в интернет), это не спасет человечество от рисков того, что подобная система выйдет из-под контроля.

Дело в том, что, согласно теории информатики, любой из алгоритмов такого сдерживания — будь то программы об этических принципах или ограничение доступа к внешнему миру — уязвим и при определенных обстоятельствах вполне способен отключить сам себя. Поэтому специалисты делают вывод, что управлять сверхразумным ИИ человек попросту не сможет и ситуация рано или поздно может выйти из-под контроля.

«Мы утверждаем, что полное сдерживание в принципе невозможно из-за фундаментальных ограничений, присущих самому вычислению. Сверхразум будет содержать программу, которая включает в себя все программы, осуществляемые при помощи универсальной машины Тьюринга, потенциально столь же сложной, как состояние мира», — заключают исследователи.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK
Предстоящие мероприятия
22 сентября, 12:52
Марк Чернов

Американские исследователи впервые смогли напрямую увидеть «квантовый скачок» звука — скачкообразный переход фонона, минимальной единицы звуковой энергии, между энергетическими уровнями в реальном времени. Это наблюдение завершило столетнюю историю поисков, начатую еще на заре квантовой физики, и открыло дорогу к созданию устойчивых квантовых компьютеров и сверхчувствительных датчиков.

22 сентября, 15:41
Татьяна Зайцева

Инфекции, которые могут передаваться от матери к плоду, связаны с повышенным риском развития аутизма и умственной отсталости у ребенка. Таковы результаты крупнейшего исследования в этой области, основанного на данных, охватывающих почти четыре миллиона человек.

22 сентября, 17:02
Марк Чернов

Ученые выяснили, что умеренные различия между элементами электросетей, экосистем и других сложных структур превращают их в гораздо более надежные системы. Математический расчет помог доказать: идеальная однородность делает энергосистемы, биоценозы и транспортные сети уязвимыми для сбоев, тогда как контролируемый «беспорядок» повышает их устойчивость к внешним нагрузкам.

21 сентября, 09:24
Елизавета З.

Европейское космическое агентство опубликовало снимок галактики NGC 4698, расположенной в созвездии Дева. Хотя на фотографии, сделанной телескопом «Хаббл», галактика кажется безмятежной, она хранит удивительную тайну: находящиеся в центре звезды и газ вращаются под прямым углом по отношению к остальной части диска.

21 сентября, 16:52
Редакция Naked Science

Всего 20-30 лет назад большинство женщин ходили на каблуках, а большинство мужчин — в обуви, подошва которой серьезно нагружала позвоночник и мышцы спины. Если задуматься, факт поразительный: 20 тысяч лет назад, в палеолите, таких проблем человечество вообще не испытывало. Как так получилось и что новые материалы делают, чтобы все эти сложности стали прошлым?

22 сентября, 12:52
Марк Чернов

Американские исследователи впервые смогли напрямую увидеть «квантовый скачок» звука — скачкообразный переход фонона, минимальной единицы звуковой энергии, между энергетическими уровнями в реальном времени. Это наблюдение завершило столетнюю историю поисков, начатую еще на заре квантовой физики, и открыло дорогу к созданию устойчивых квантовых компьютеров и сверхчувствительных датчиков.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

29 августа, 16:51
Александр Березин

Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.

[miniorange_social_login]

Комментарии

7 Комментариев