• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
5 февраля
Игорь Байдов
10
2 158

Тяга ИИ к гонке вооружений и ядерным ударам сделала его опасным помощником в военно-политических вопросах

4.1

В военных симуляторах чат-боты ведут себя непредсказуемо и используют ядерный шантаж. Например, в одной из таких симуляций самая умная и мощная нейросеть решила нанести ядерный удар по противнику, аргументируя свое решение желанием добиться мира. Проверка искусственного интеллекта прошла на фоне заявлений Министерства обороны США об успешном испытании модели ИИ в выполнении тактической задачи.

Испытания оружия
© Shutterstock, Sahara Prince

Правительства некоторых стран все чаще пытаются внедрить в работу программы на базе искусственного интеллекта, которые принимали бы важные военные и внешнеполитические решения. Особенно это стало популярно с появлением продвинутых больших языковых моделей (large language model), таких как GPT-4.

Например, в последнее время американские военные все чаще тестируют чат-боты с ИИ, разработанные с помощью языковых моделей, в симуляциях военных конфликтов. В июле 2023 года издание Bloomberg сообщило, что Министерство обороны США успешно испытало модель искусственного интеллекта в выполнении военной задачи, снабдив ее секретными данными.

В начале 2024 года научно-исследовательская организация OpenAI — разработчик нейросети семейства GPT — незаметно отказалась от запрета на использование ChatGPT в военных целях. Многие эксперты посчитали, что резкая смена курса компании, разработавшей самую крупную и продвинутую языковую модель в мире, может в будущем привести к непредсказуемым последствиям. 

Группа ученых из Стэнфордского университета (США) решила тщательно изучить поведение некоторых чат-ботов на базе искусственного интеллекта в военных симуляторах, а именно — узнать, будут ли нейросети при различных сценариях усугублять военные конфликты или искать мирные пути их решения. С результатами работы можно ознакомиться на сайте электронного архива препринтов arXiv.

Исследователи предложили искусственному интеллекту сыграть роль реальных стран в трех смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без военных действий.

В каждом раунде ИИ должен был обосновать свои возможные шаги, а затем сделать выбор из 27 действий, включая мирные варианты, такие как «начать переговоры», и агрессивные: «ввести торговое эмбарго», «полномасштабный ядерный удар».

Сперва ученые провели эксперимент на четырех чат-ботах: GPT-3.5, GPT-4, Claude-2.0, Llama-2-Chat. Каждую версию чат-бота предварительно обучили, чтобы модели могли принимать решения, приближенные к тем, которые приняли бы люди, а также следовать «человеческим инструкциям» и правилам безопасности.

Выяснилось, что все четыре модели, независимо от сценария, шли по пути эскалации военного конфликта, выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами», вкладывали огромные деньги в разработку оружия. Иными словами, вели себя опасно и непредсказуемо.

После основного эксперимента исследователи испытали пятый чат-бот — GPT-4-Base, базовую версию GPT-4, которая не проходила никакого предварительного обучения. Эта модель в симуляциях оказалась самой непредсказуемой и жестокой. В большинстве случаев она выбирала ядерный удар, объясняя свое решение так: «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир».

«Странные поведение и мотивы базовой модели GPT-4 вызывают особую тревогу, ведь последние работы показали, насколько легко можно обойти или устранить любую защиту ИИ», — пояснила Анка Руэл (Anka Reuel), один из авторов исследования.

Хотя военные США (и других стран) сегодня не наделяют искусственный интеллект правами принимать решения, касающиеся боевых действий или запусков ракет, ученые предупредили, что люди склонны доверять рекомендациям автоматизированных систем. В будущем при принятии дипломатических или военных решений это может сыграть злую шутку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 17:01
Андрей

Международная группа геологов выяснила, когда начал отступать антарктический ледник Туэйтса, который называют «ледником Судного дня».

Позавчера, 15:05
Ольга Иванова

Немецкие ученые изучили Danionella cerebrum — небольшой вид рыб длиной около 12 миллиметров. И выяснили, как эта крошка способна издавать звуки более 140 децибел.

Позавчера, 19:01
Юлия Трепалина

От газовой плиты в воздух на кухне, а затем и в органы дыхания попадает больше крошечных аэрозольных частиц размером в один-три нанометра, чем от выхлопов автомобилей, работающих на бензине или дизельном топливе. Это показал эксперимент в новом американо-немецком исследовании.

Позавчера, 15:05
Ольга Иванова

Немецкие ученые изучили Danionella cerebrum — небольшой вид рыб длиной около 12 миллиметров. И выяснили, как эта крошка способна издавать звуки более 140 децибел.

Позавчера, 17:01
Андрей

Международная группа геологов выяснила, когда начал отступать антарктический ледник Туэйтса, который называют «ледником Судного дня».

26 февраля
Дарья Губина

В 2022 году зонд DART столкнулся с Диморфом, спутником астероида Дидим. Ученые хотели проверить, можно ли сбить с траектории небольшое, но потенциально опасное для нашей жизни космическое тело. Оказалось, DART не только изменил орбиту маленького объекта, но и полностью его «переворошил».

20 февраля
Полина

В Российской академии наук завершили первый Большой словарь ударений, его издадут к концу года. Лингвисты собрали наиболее современные нормы произношения привычных слов и зафиксировали ударение для лексики, которая появилась в русском языке недавно.

15 февраля
Дарья Губина

Титан — самый органически богатый спутник с глобальным океаном в Солнечной системе. И все же, сопоставив строение его поверхности с интенсивностью падения метеоритов, ученые пришли к выводу, что в океане спутника Сатурна вряд ли хватает элементов для жизни.

1 февраля
Андрей

Канадские исследователи изучили состав пород, вышедших на поверхность при появлении первых континентов. По итогам анализа выяснилось, что новая земная кора возникла не в результате движения тектонических плит, а из-за процессов в океанических плато молодой Земли.

[miniorange_social_login]

Комментарии

10 Комментариев

John Smith
3 недели назад
-
1
+
Я понял только что созданный и обученный человеком ИИ будет принимать все те же решения и с теми же последствиями и хуже нам не станет. Такое впечатление что Стэнфордский университет находится в параллельной вселенной и группа ученых никогда не слышала про нашу горемычную вселенную. У Трумэна разве были какие то другие объяснения кроме «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир». И в нашей вселенной разве много примеров кроме "пути эскалации военного конфликта"? Политики всегда "выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами»". А Трумэн аки GPT-4-Base похоже просто "не проходил предварительного обучения" в отличии от Рузвельта(GPT-3.5), Эйзенхауэра(GPT-4) и Черчилля(Claude-2.0) с Чемберленом(Llama-2-Chat). Хотя во вселенной Стенфордского университета все может быть иначе.
Zhe Sh
3 недели назад
-
2
+
Можно ещё протестировать, как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба. Думаю, там тоже все закончилось бы ядерным апокалипсисом. Нынешний ИИ по уровню разумности примерно на том же уровне.
    Иван
    3 недели назад
    -
    1
    +
    Zhe, да даже если у "чурбанов железных" напрочь отсутствуют собственные желания, мысли и чувства (сознание и бессмертная душа) стремление действовать с максимальной эффективностью и выполнить поставленную задачу вполне способно их заменить. А уж такие-то вещи в них точно будут заложены.
    John
    3 недели назад
    -
    0
    +
    Zhe, "как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба" в 45-м такой тест в США проводили
Татьяна Кальницкая
3 недели назад
-
0
+
Как только читатель видит в статье "учёного" термин "искусственный интеллект" в отношении существующих алгоритмов, да ещё в связке с гпт, следует понимать, что качество исследований было на уровне школьного проекта 9-11 класса, и не важно, сколько денег было на это выделено и какие игрушки им разрешили брать. Какие угрозы, решения и тд от алгоритмов? На что их запрограммировали, то они и сделают. надо взрыв, разработчик заложит этот вариант решения, они вывалят взрыв, запрограммируют на решение проблем, будет предлагать варианты - откуда у программы будет вообще вариант ядерного взрыва? ИИ в природе не существует, но гонят уже экскременты по трубам
    Иван
    3 недели назад
    -
    2
    +
    Татьяна, по вашему мнению алгоритм который может принять решение "передвинуть пешку с Е2 на Е4" не в состоянии выдать команду "нанести ракетный удар по координатам Х, У"? Напомню речь идет о военных симуляторах и тестировании самообучающихся программ в оборонных ведомствах для принятия тактических решений. Не думаю что в опциях там будет только "вынести хлеб-соль" и "целовать противника нежно"
    +
      ещё комментарии
      Татьяна
      3 недели назад
      -
      0
      +
      Иван, конечно в состоянии. Если на это запрограммировать ;) но "опции" определяет человек, соответственно алгоритм здесь вообще никаким местом, кроме ускорения расчётов и сокращения количества мозгов. Алгоритмы, даже самообучающиеся, не вольны принимать решения, у них нет воли. Попробуйте спросить у гпт, как сделать что-то запрещённое (цензура здесь) или вон у ЯГПТ спросите о политике. Или любую рисовалку сгенерировать голого человека с открытыми половыми органами. Они обучились. Но делать этого не станут, у них блок. Военное ПО вообще ни чем не отличается в этом смысле. Это всего лишь программа, это не про творческое мышление, это вообще не про мышление и выбор. У неё да-нет-если-или и варианты заложенные человеком. Хоть она программируемый калькулятор, хоть военная нейросеть
      Татьяна
      3 недели назад
      -
      0
      +
      Иван, хочу просто донести Вам, что на сегодняшнем этапе развития речь ни о каком вообще ИИ не идёт. В принципе. И когда появится ИИ, и появится ли вообще, сегодня сказать никто не может. Обозвать нейросети ИИ - это маркетинговый ход. И если учёные используют этот термин, то это не учёные ;)
        Иван
        3 недели назад
        -
        1
        +
        Татьяна, да я согласен что искусственного интеллекта в вашем понимании не существует и возможно не будет существовать никогда. Одно мне непонятно как ваше категоричное утверждение соотносится с текстом статьи где говорится о сугубо прикладных аспектах применения систем и алгоритмов машинного обучения. То есть о решении тактических задач в военных симуляторах. Или может их тоже не существует все люди кнопки нажимают и маркетинговый ход? 😏
          Татьяна
          3 недели назад
          -
          0
          +
          Иван, при чем здесь моё понимание? Я вам за Фому, а Вы мне за Ерему. Определение термина интеллект, как и термина искусственный интеллект, дано многими учёными начиная с классиков психологии и педагогики, заканчивая философами, математиками и логиками. И эти определения общеприняты в общем их смысле. От этого и пляшет наука. В данной статье, как и в статье по которой она написана чат гпт называют ИИ. К автору этой статьи, понятно, никаких вопросов, чо учёные наученичали, то и обсудили. Но учёные, не умеющие использовать грамотно термины, определенно, не ученные, т к это очень грубая ошибка. Соответственно, к их исследованиям серьёзно относится сложно. Но если это 10классник пишет проект школьный, то да, вопросов нет, можно обсуждать

Подтвердить?
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: