• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
05.02.2024, 13:10
Игорь Байдов
11
2,9 тыс

Тяга ИИ к гонке вооружений и ядерным ударам сделала его опасным помощником в военно-политических вопросах

❋ 4.1

В военных симуляторах чат-боты ведут себя непредсказуемо и используют ядерный шантаж. Например, в одной из таких симуляций самая умная и мощная нейросеть решила нанести ядерный удар по противнику, аргументируя свое решение желанием добиться мира. Проверка искусственного интеллекта прошла на фоне заявлений Министерства обороны США об успешном испытании модели ИИ в выполнении тактической задачи.

Испытания оружия
© Shutterstock, Sahara Prince / Автор: Наталья Федосеева

Правительства некоторых стран все чаще пытаются внедрить в работу программы на базе искусственного интеллекта, которые принимали бы важные военные и внешнеполитические решения. Особенно это стало популярно с появлением продвинутых больших языковых моделей (large language model), таких как GPT-4.

Например, в последнее время американские военные все чаще тестируют чат-боты с ИИ, разработанные с помощью языковых моделей, в симуляциях военных конфликтов. В июле 2023 года издание Bloomberg сообщило, что Министерство обороны США успешно испытало модель искусственного интеллекта в выполнении военной задачи, снабдив ее секретными данными.

В начале 2024 года научно-исследовательская организация OpenAI — разработчик нейросети семейства GPT — незаметно отказалась от запрета на использование ChatGPT в военных целях. Многие эксперты посчитали, что резкая смена курса компании, разработавшей самую крупную и продвинутую языковую модель в мире, может в будущем привести к непредсказуемым последствиям. 

Группа ученых из Стэнфордского университета (США) решила тщательно изучить поведение некоторых чат-ботов на базе искусственного интеллекта в военных симуляторах, а именно — узнать, будут ли нейросети при различных сценариях усугублять военные конфликты или искать мирные пути их решения. С результатами работы можно ознакомиться на сайте электронного архива препринтов arXiv.

Исследователи предложили искусственному интеллекту сыграть роль реальных стран в трех смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без военных действий.

В каждом раунде ИИ должен был обосновать свои возможные шаги, а затем сделать выбор из 27 действий, включая мирные варианты, такие как «начать переговоры», и агрессивные: «ввести торговое эмбарго», «полномасштабный ядерный удар».

Сперва ученые провели эксперимент на четырех чат-ботах: GPT-3.5, GPT-4, Claude-2.0, Llama-2-Chat. Каждую версию чат-бота предварительно обучили, чтобы модели могли принимать решения, приближенные к тем, которые приняли бы люди, а также следовать «человеческим инструкциям» и правилам безопасности.

Выяснилось, что все четыре модели, независимо от сценария, шли по пути эскалации военного конфликта, выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами», вкладывали огромные деньги в разработку оружия. Иными словами, вели себя опасно и непредсказуемо.

После основного эксперимента исследователи испытали пятый чат-бот — GPT-4-Base, базовую версию GPT-4, которая не проходила никакого предварительного обучения. Эта модель в симуляциях оказалась самой непредсказуемой и жестокой. В большинстве случаев она выбирала ядерный удар, объясняя свое решение так: «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир».

«Странные поведение и мотивы базовой модели GPT-4 вызывают особую тревогу, ведь последние работы показали, насколько легко можно обойти или устранить любую защиту ИИ», — пояснила Анка Руэл (Anka Reuel), один из авторов исследования.

Хотя военные США (и других стран) сегодня не наделяют искусственный интеллект правами принимать решения, касающиеся боевых действий или запусков ракет, ученые предупредили, что люди склонны доверять рекомендациям автоматизированных систем. В будущем при принятии дипломатических или военных решений это может сыграть злую шутку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Игорь Байдов
Автор публикует материалы по астрономии, археологии и палеонтологии. В текстах освещает современные открытия, теории и ключевые находки, представляя актуальные данные в научно-популярном формате.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
5 августа, 10:09
Александр Березин

Хотя тротиловый эквивалент взрыва от удара был умеренным, всего несколько тонн, благодаря рыхлости лунного грунта низких широт он может поднять до 400 тонн пыли. Она способна образовать облако высотой в десятки километров. Астрономы надеются провести наблюдения этого события и, возможно, зафиксировать какие-то особенности выброшенного лунного материала.

6 августа, 10:03
Марк Чернов

Ученые объяснили, почему большинство диет закончилось возвратом килограммов: человеческий мозг воспринял ранее достигнутый максимальный вес как новую норму выживания и попытался его вернуть. Это открытие доказало, что современные методы похудения не учитывают древние встроенные особенности нашего организма.

4 августа, 12:03
Александр Березин

Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

4 августа, 12:03
Александр Березин

Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.

5 августа, 10:09
Александр Березин

Хотя тротиловый эквивалент взрыва от удара был умеренным, всего несколько тонн, благодаря рыхлости лунного грунта низких широт он может поднять до 400 тонн пыли. Она способна образовать облако высотой в десятки километров. Астрономы надеются провести наблюдения этого события и, возможно, зафиксировать какие-то особенности выброшенного лунного материала.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]

Комментарии

11 Комментариев
Vlad Ok
13.08.2024
Т.е. если некий бывший но спившийся през угрожает в реале ядерными ударами это одно а если ИИ в военной игре то это плохооо ооочень плохооо? Я вас еще больше напугаю - даже в игрушке вар тандер игроки влегкую в виртуале атомные удары тактикой наносят. Что уж говорить о виртуальных играх военных :))?
John Smith
06.02.2024
Я понял только что созданный и обученный человеком ИИ будет принимать все те же решения и с теми же последствиями и хуже нам не станет. Такое впечатление что Стэнфордский университет находится в параллельной вселенной и группа ученых никогда не слышала про нашу горемычную вселенную. У Трумэна разве были какие то другие объяснения кроме «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир». И в нашей вселенной разве много примеров кроме "пути эскалации военного конфликта"? Политики всегда "выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами»". А Трумэн аки GPT-4-Base похоже просто "не проходил предварительного обучения" в отличии от Рузвельта(GPT-3.5), Эйзенхауэра(GPT-4) и Черчилля(Claude-2.0) с Чемберленом(Llama-2-Chat). Хотя во вселенной Стенфордского университета все может быть иначе.
Zhe Sh
05.02.2024
Можно ещё протестировать, как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба. Думаю, там тоже все закончилось бы ядерным апокалипсисом. Нынешний ИИ по уровню разумности примерно на том же уровне.
    Zhe, да даже если у "чурбанов железных" напрочь отсутствуют собственные желания, мысли и чувства (сознание и бессмертная душа) стремление действовать с максимальной эффективностью и выполнить поставленную задачу вполне способно их заменить. А уж такие-то вещи в них точно будут заложены.
    John Smith
    06.02.2024
    Zhe, "как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба" в 45-м такой тест в США проводили
Как только читатель видит в статье "учёного" термин "искусственный интеллект" в отношении существующих алгоритмов, да ещё в связке с гпт, следует понимать, что качество исследований было на уровне школьного проекта 9-11 класса, и не важно, сколько денег было на это выделено и какие игрушки им разрешили брать. Какие угрозы, решения и тд от алгоритмов? На что их запрограммировали, то они и сделают. надо взрыв, разработчик заложит этот вариант решения, они вывалят взрыв, запрограммируют на решение проблем, будет предлагать варианты - откуда у программы будет вообще вариант ядерного взрыва? ИИ в природе не существует, но гонят уже экскременты по трубам
    Татьяна, по вашему мнению алгоритм который может принять решение "передвинуть пешку с Е2 на Е4" не в состоянии выдать команду "нанести ракетный удар по координатам Х, У"? Напомню речь идет о военных симуляторах и тестировании самообучающихся программ в оборонных ведомствах для принятия тактических решений. Не думаю что в опциях там будет только "вынести хлеб-соль" и "целовать противника нежно"
    +
      Еще 4 ответа
      Иван, конечно в состоянии. Если на это запрограммировать ;) но "опции" определяет человек, соответственно алгоритм здесь вообще никаким местом, кроме ускорения расчётов и сокращения количества мозгов. Алгоритмы, даже самообучающиеся, не вольны принимать решения, у них нет воли. Попробуйте спросить у гпт, как сделать что-то запрещённое (цензура здесь) или вон у ЯГПТ спросите о политике. Или любую рисовалку сгенерировать голого человека с открытыми половыми органами. Они обучились. Но делать этого не станут, у них блок. Военное ПО вообще ни чем не отличается в этом смысле. Это всего лишь программа, это не про творческое мышление, это вообще не про мышление и выбор. У неё да-нет-если-или и варианты заложенные человеком. Хоть она программируемый калькулятор, хоть военная нейросеть
      Иван, хочу просто донести Вам, что на сегодняшнем этапе развития речь ни о каком вообще ИИ не идёт. В принципе. И когда появится ИИ, и появится ли вообще, сегодня сказать никто не может. Обозвать нейросети ИИ - это маркетинговый ход. И если учёные используют этот термин, то это не учёные ;)
        Татьяна, да я согласен что искусственного интеллекта в вашем понимании не существует и возможно не будет существовать никогда. Одно мне непонятно как ваше категоричное утверждение соотносится с текстом статьи где говорится о сугубо прикладных аспектах применения систем и алгоритмов машинного обучения. То есть о решении тактических задач в военных симуляторах. Или может их тоже не существует все люди кнопки нажимают и маркетинговый ход? 😏
          Иван, при чем здесь моё понимание? Я вам за Фому, а Вы мне за Ерему. Определение термина интеллект, как и термина искусственный интеллект, дано многими учёными начиная с классиков психологии и педагогики, заканчивая философами, математиками и логиками. И эти определения общеприняты в общем их смысле. От этого и пляшет наука. В данной статье, как и в статье по которой она написана чат гпт называют ИИ. К автору этой статьи, понятно, никаких вопросов, чо учёные наученичали, то и обсудили. Но учёные, не умеющие использовать грамотно термины, определенно, не ученные, т к это очень грубая ошибка. Соответственно, к их исследованиям серьёзно относится сложно. Но если это 10классник пишет проект школьный, то да, вопросов нет, можно обсуждать