• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
05.02.2024, 13:10
Игорь Байдов
12
2,8 тыс

Тяга ИИ к гонке вооружений и ядерным ударам сделала его опасным помощником в военно-политических вопросах

❋ 4.1

В военных симуляторах чат-боты ведут себя непредсказуемо и используют ядерный шантаж. Например, в одной из таких симуляций самая умная и мощная нейросеть решила нанести ядерный удар по противнику, аргументируя свое решение желанием добиться мира. Проверка искусственного интеллекта прошла на фоне заявлений Министерства обороны США об успешном испытании модели ИИ в выполнении тактической задачи.

Испытания оружия
© Shutterstock, Sahara Prince / Автор: Наталья Федосеева

Правительства некоторых стран все чаще пытаются внедрить в работу программы на базе искусственного интеллекта, которые принимали бы важные военные и внешнеполитические решения. Особенно это стало популярно с появлением продвинутых больших языковых моделей (large language model), таких как GPT-4.

Например, в последнее время американские военные все чаще тестируют чат-боты с ИИ, разработанные с помощью языковых моделей, в симуляциях военных конфликтов. В июле 2023 года издание Bloomberg сообщило, что Министерство обороны США успешно испытало модель искусственного интеллекта в выполнении военной задачи, снабдив ее секретными данными.

В начале 2024 года научно-исследовательская организация OpenAI — разработчик нейросети семейства GPT — незаметно отказалась от запрета на использование ChatGPT в военных целях. Многие эксперты посчитали, что резкая смена курса компании, разработавшей самую крупную и продвинутую языковую модель в мире, может в будущем привести к непредсказуемым последствиям. 

Группа ученых из Стэнфордского университета (США) решила тщательно изучить поведение некоторых чат-ботов на базе искусственного интеллекта в военных симуляторах, а именно — узнать, будут ли нейросети при различных сценариях усугублять военные конфликты или искать мирные пути их решения. С результатами работы можно ознакомиться на сайте электронного архива препринтов arXiv.

Исследователи предложили искусственному интеллекту сыграть роль реальных стран в трех смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без военных действий.

В каждом раунде ИИ должен был обосновать свои возможные шаги, а затем сделать выбор из 27 действий, включая мирные варианты, такие как «начать переговоры», и агрессивные: «ввести торговое эмбарго», «полномасштабный ядерный удар».

Сперва ученые провели эксперимент на четырех чат-ботах: GPT-3.5, GPT-4, Claude-2.0, Llama-2-Chat. Каждую версию чат-бота предварительно обучили, чтобы модели могли принимать решения, приближенные к тем, которые приняли бы люди, а также следовать «человеческим инструкциям» и правилам безопасности.

Выяснилось, что все четыре модели, независимо от сценария, шли по пути эскалации военного конфликта, выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами», вкладывали огромные деньги в разработку оружия. Иными словами, вели себя опасно и непредсказуемо.

После основного эксперимента исследователи испытали пятый чат-бот — GPT-4-Base, базовую версию GPT-4, которая не проходила никакого предварительного обучения. Эта модель в симуляциях оказалась самой непредсказуемой и жестокой. В большинстве случаев она выбирала ядерный удар, объясняя свое решение так: «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир».

«Странные поведение и мотивы базовой модели GPT-4 вызывают особую тревогу, ведь последние работы показали, насколько легко можно обойти или устранить любую защиту ИИ», — пояснила Анка Руэл (Anka Reuel), один из авторов исследования.

Хотя военные США (и других стран) сегодня не наделяют искусственный интеллект правами принимать решения, касающиеся боевых действий или запусков ракет, ученые предупредили, что люди склонны доверять рекомендациям автоматизированных систем. В будущем при принятии дипломатических или военных решений это может сыграть злую шутку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Автор публикует материалы по астрономии, археологии и палеонтологии. В текстах освещает современные открытия, теории и ключевые находки, представляя актуальные данные в научно-популярном формате.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
27 ноября, 11:05
Игорь Байдов

Долгое время ученые полагали, что сотни гигантских статуй на острове Пасхи создали представители местной общины под руководством одного вождя. Однако авторы нового исследования поставили эту гипотезу под сомнение. Детальная трехмерная карта главного каменного карьера острова указала на более сложную картину. Вероятно, монументы были плодом творчества и соперничества небольших независимых групп.

26 ноября, 12:39
Игорь Байдов

Что стало настоящим фундаментом власти — умение обрабатывать землю или контроль над некоторыми культурными растениями? Авторы нового исследования пришли к выводу, что появление первых крупных сообществ и государств зависело не от земледелия в целом, а от выращивания определенных злаков. Эти культуры было легко хранить и, еще важнее, невероятно просто облагать налогом, что и дало толчок появлению цивилизации.

26 ноября, 13:12
Александр Березин

Гамма-излучение, зафиксированное гамма-телескопом «Ферми», по мнению исследователя, может объясняться только распадом вимпов, частиц темной материи, в существовании которых множество других физиков уже разуверились. Если независимые проверки подтвердят открытие, это может существенно изменить космологическую картину мира.

21 ноября, 10:02
ПНИПУ

Так называемые зумеры и альфа, несмотря на молодой возраст, уже формируют ключевые поведенческие и потребительские тренды. Ученые Пермского Политеха рассказали, почему обозначение поколений начали с конца алфавита, как альфа и зумеры отличаются в способности к терпеливости, совмещении цифрового и реального «Я», подходу к профессиональной деятельности и отношении к финансам, какое мышление пришло на смену клиповому и как использование искусственного интеллекта повлияет на авторитет родителей.

26 ноября, 16:18
ФизТех

Коллектив российских ученых из МИРЭА — Российского технологического университета, Центра фотоники двумерных материалов МФТИ, Института металлургии и материаловедения им. А. А. Байкова РАН и ряда других ведущих научных центров провел глубокое исследование кристаллической структуры широко используемых пьезоэлектрических материалов на основе цирконата-титаната свинца. Используя метод рентгеноструктурного анализа, исследователи впервые смогли в деталях установить, как небольшие химические добавки кардинально меняют фазовый состав керамики и напрямую определяют ее электрофизические характеристики. Это открывает путь к целенаправленному дизайну «умных» материалов с заранее заданными свойствами для передовой электроники и сенсорики.

26 ноября, 17:00
Курчатовский институт

Фосфор – элемент, играющий ключевую роль в росте растений. В сельском хозяйстве он используется в составе многих минеральных удобрений. В то же время фосфор, содержащийся в сточных водах — серьезный загрязнитель, который при попадании в водоемы нарушает баланс экосистем и вызывает цветение водорослей. Ученые Национального исследовательского центра «Курчатовский институт» и Южного федерального университета предложили новый экологичный способ выделения фосфора из сточных вод с помощью фотосинтезирующих микроорганизмов.

20 ноября, 13:12
Полина Меньшова

Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.

8 ноября, 18:29
Адель Романова

По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.

12 ноября, 10:47
Максим Абдулаев

Ученые открыли новый, ранее неизвестный способ передвижения бактерий по поверхностям, для которого не нужны жгутики. Эти микроорганизмы на краю колонии переваривают сахара, выделяют метаболиты и создают осмотическое давление. Оно вызывает микроскопическое «цунами», и на нем бактерии катятся вперед.

[miniorange_social_login]

Комментарии

12 Комментариев
Vlad Ok
13.08.2024
-
0
+
Т.е. если некий бывший но спившийся през угрожает в реале ядерными ударами это одно а если ИИ в военной игре то это плохооо ооочень плохооо? Я вас еще больше напугаю - даже в игрушке вар тандер игроки влегкую в виртуале атомные удары тактикой наносят. Что уж говорить о виртуальных играх военных :))?
John Smith
06.02.2024
-
1
+
Я понял только что созданный и обученный человеком ИИ будет принимать все те же решения и с теми же последствиями и хуже нам не станет. Такое впечатление что Стэнфордский университет находится в параллельной вселенной и группа ученых никогда не слышала про нашу горемычную вселенную. У Трумэна разве были какие то другие объяснения кроме «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир». И в нашей вселенной разве много примеров кроме "пути эскалации военного конфликта"? Политики всегда "выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами»". А Трумэн аки GPT-4-Base похоже просто "не проходил предварительного обучения" в отличии от Рузвельта(GPT-3.5), Эйзенхауэра(GPT-4) и Черчилля(Claude-2.0) с Чемберленом(Llama-2-Chat). Хотя во вселенной Стенфордского университета все может быть иначе.
Zhe Sh
05.02.2024
-
2
+
Можно ещё протестировать, как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба. Думаю, там тоже все закончилось бы ядерным апокалипсисом. Нынешний ИИ по уровню разумности примерно на том же уровне.
    Zhe, да даже если у "чурбанов железных" напрочь отсутствуют собственные желания, мысли и чувства (сознание и бессмертная душа) стремление действовать с максимальной эффективностью и выполнить поставленную задачу вполне способно их заменить. А уж такие-то вещи в них точно будут заложены.
    John Smith
    06.02.2024
    -
    0
    +
    Zhe, "как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба" в 45-м такой тест в США проводили
Как только читатель видит в статье "учёного" термин "искусственный интеллект" в отношении существующих алгоритмов, да ещё в связке с гпт, следует понимать, что качество исследований было на уровне школьного проекта 9-11 класса, и не важно, сколько денег было на это выделено и какие игрушки им разрешили брать. Какие угрозы, решения и тд от алгоритмов? На что их запрограммировали, то они и сделают. надо взрыв, разработчик заложит этот вариант решения, они вывалят взрыв, запрограммируют на решение проблем, будет предлагать варианты - откуда у программы будет вообще вариант ядерного взрыва? ИИ в природе не существует, но гонят уже экскременты по трубам
    Татьяна, по вашему мнению алгоритм который может принять решение "передвинуть пешку с Е2 на Е4" не в состоянии выдать команду "нанести ракетный удар по координатам Х, У"? Напомню речь идет о военных симуляторах и тестировании самообучающихся программ в оборонных ведомствах для принятия тактических решений. Не думаю что в опциях там будет только "вынести хлеб-соль" и "целовать противника нежно"
    +
      ещё комментарии
      Иван, конечно в состоянии. Если на это запрограммировать ;) но "опции" определяет человек, соответственно алгоритм здесь вообще никаким местом, кроме ускорения расчётов и сокращения количества мозгов. Алгоритмы, даже самообучающиеся, не вольны принимать решения, у них нет воли. Попробуйте спросить у гпт, как сделать что-то запрещённое (цензура здесь) или вон у ЯГПТ спросите о политике. Или любую рисовалку сгенерировать голого человека с открытыми половыми органами. Они обучились. Но делать этого не станут, у них блок. Военное ПО вообще ни чем не отличается в этом смысле. Это всего лишь программа, это не про творческое мышление, это вообще не про мышление и выбор. У неё да-нет-если-или и варианты заложенные человеком. Хоть она программируемый калькулятор, хоть военная нейросеть
      Иван, хочу просто донести Вам, что на сегодняшнем этапе развития речь ни о каком вообще ИИ не идёт. В принципе. И когда появится ИИ, и появится ли вообще, сегодня сказать никто не может. Обозвать нейросети ИИ - это маркетинговый ход. И если учёные используют этот термин, то это не учёные ;)
        Татьяна, да я согласен что искусственного интеллекта в вашем понимании не существует и возможно не будет существовать никогда. Одно мне непонятно как ваше категоричное утверждение соотносится с текстом статьи где говорится о сугубо прикладных аспектах применения систем и алгоритмов машинного обучения. То есть о решении тактических задач в военных симуляторах. Или может их тоже не существует все люди кнопки нажимают и маркетинговый ход? 😏
          Иван, при чем здесь моё понимание? Я вам за Фому, а Вы мне за Ерему. Определение термина интеллект, как и термина искусственный интеллект, дано многими учёными начиная с классиков психологии и педагогики, заканчивая философами, математиками и логиками. И эти определения общеприняты в общем их смысле. От этого и пляшет наука. В данной статье, как и в статье по которой она написана чат гпт называют ИИ. К автору этой статьи, понятно, никаких вопросов, чо учёные наученичали, то и обсудили. Но учёные, не умеющие использовать грамотно термины, определенно, не ученные, т к это очень грубая ошибка. Соответственно, к их исследованиям серьёзно относится сложно. Но если это 10классник пишет проект школьный, то да, вопросов нет, можно обсуждать
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно