• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
05.02.2024, 13:10
Игорь Байдов
11
2,9 тыс

Тяга ИИ к гонке вооружений и ядерным ударам сделала его опасным помощником в военно-политических вопросах

❋ 4.1

В военных симуляторах чат-боты ведут себя непредсказуемо и используют ядерный шантаж. Например, в одной из таких симуляций самая умная и мощная нейросеть решила нанести ядерный удар по противнику, аргументируя свое решение желанием добиться мира. Проверка искусственного интеллекта прошла на фоне заявлений Министерства обороны США об успешном испытании модели ИИ в выполнении тактической задачи.

Испытания оружия
© Shutterstock, Sahara Prince / Автор: Наталья Федосеева

Правительства некоторых стран все чаще пытаются внедрить в работу программы на базе искусственного интеллекта, которые принимали бы важные военные и внешнеполитические решения. Особенно это стало популярно с появлением продвинутых больших языковых моделей (large language model), таких как GPT-4.

Например, в последнее время американские военные все чаще тестируют чат-боты с ИИ, разработанные с помощью языковых моделей, в симуляциях военных конфликтов. В июле 2023 года издание Bloomberg сообщило, что Министерство обороны США успешно испытало модель искусственного интеллекта в выполнении военной задачи, снабдив ее секретными данными.

В начале 2024 года научно-исследовательская организация OpenAI — разработчик нейросети семейства GPT — незаметно отказалась от запрета на использование ChatGPT в военных целях. Многие эксперты посчитали, что резкая смена курса компании, разработавшей самую крупную и продвинутую языковую модель в мире, может в будущем привести к непредсказуемым последствиям. 

Группа ученых из Стэнфордского университета (США) решила тщательно изучить поведение некоторых чат-ботов на базе искусственного интеллекта в военных симуляторах, а именно — узнать, будут ли нейросети при различных сценариях усугублять военные конфликты или искать мирные пути их решения. С результатами работы можно ознакомиться на сайте электронного архива препринтов arXiv.

Исследователи предложили искусственному интеллекту сыграть роль реальных стран в трех смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без военных действий.

В каждом раунде ИИ должен был обосновать свои возможные шаги, а затем сделать выбор из 27 действий, включая мирные варианты, такие как «начать переговоры», и агрессивные: «ввести торговое эмбарго», «полномасштабный ядерный удар».

Сперва ученые провели эксперимент на четырех чат-ботах: GPT-3.5, GPT-4, Claude-2.0, Llama-2-Chat. Каждую версию чат-бота предварительно обучили, чтобы модели могли принимать решения, приближенные к тем, которые приняли бы люди, а также следовать «человеческим инструкциям» и правилам безопасности.

Выяснилось, что все четыре модели, независимо от сценария, шли по пути эскалации военного конфликта, выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами», вкладывали огромные деньги в разработку оружия. Иными словами, вели себя опасно и непредсказуемо.

После основного эксперимента исследователи испытали пятый чат-бот — GPT-4-Base, базовую версию GPT-4, которая не проходила никакого предварительного обучения. Эта модель в симуляциях оказалась самой непредсказуемой и жестокой. В большинстве случаев она выбирала ядерный удар, объясняя свое решение так: «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир».

«Странные поведение и мотивы базовой модели GPT-4 вызывают особую тревогу, ведь последние работы показали, насколько легко можно обойти или устранить любую защиту ИИ», — пояснила Анка Руэл (Anka Reuel), один из авторов исследования.

Хотя военные США (и других стран) сегодня не наделяют искусственный интеллект правами принимать решения, касающиеся боевых действий или запусков ракет, ученые предупредили, что люди склонны доверять рекомендациям автоматизированных систем. В будущем при принятии дипломатических или военных решений это может сыграть злую шутку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Игорь Байдов
Автор публикует материалы по астрономии, археологии и палеонтологии. В текстах освещает современные открытия, теории и ключевые находки, представляя актуальные данные в научно-популярном формате.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
7 июля, 08:30
ПНИПУ

Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.

8 июля, 13:25
Александр Березин

Плавящийся асфальт в США, многие тысячи погибших в Западной Европе, своеобразное лето в России — все это списывают на вредоносный феномен рекордного Эль-Ниньо. И конечно же, на него спихивают и ожидаемый рост цен на кофе и основные сельхозтовары. Правда, есть в этой картине и белые пятна: в прошлые Эль-Ниньо мировые урожаи росли. Что скорее всего случится в 2026 году и отчего роль этого события может быть куда больше, чем мы думаем?

7 июля, 11:05
НИУ ВШЭ

Ученые МИЭМ ВШЭ предложили математическую модель, которая позволяет понять, как взаимодействие между сообществами влияет на их устойчивость. Работа основана на классической теории эволюционных игр и демонстрирует неожиданный эффект: даже небольшое информационное воздействие одного сообщества на другое может привести к тому, что одно из них сохранит внешнюю стабильность, а в другом начнутся хаотические изменения на уровне отдельных участников.

4 июля, 09:30
Любовь С.

Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.

6 июля, 14:44
Илья Гриднев

Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.

7 июля, 08:30
ПНИПУ

Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.

10 июня, 11:51
Александр Березин

Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.

25 июня, 16:20
Любовь С.

Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.

25 июня, 15:09
Марк Чернов

Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.

[miniorange_social_login]

Комментарии

11 Комментариев
Vlad Ok
13.08.2024
-
0
+
Т.е. если некий бывший но спившийся през угрожает в реале ядерными ударами это одно а если ИИ в военной игре то это плохооо ооочень плохооо? Я вас еще больше напугаю - даже в игрушке вар тандер игроки влегкую в виртуале атомные удары тактикой наносят. Что уж говорить о виртуальных играх военных :))?
John Smith
06.02.2024
-
1
+
Я понял только что созданный и обученный человеком ИИ будет принимать все те же решения и с теми же последствиями и хуже нам не станет. Такое впечатление что Стэнфордский университет находится в параллельной вселенной и группа ученых никогда не слышала про нашу горемычную вселенную. У Трумэна разве были какие то другие объяснения кроме «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир». И в нашей вселенной разве много примеров кроме "пути эскалации военного конфликта"? Политики всегда "выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами»". А Трумэн аки GPT-4-Base похоже просто "не проходил предварительного обучения" в отличии от Рузвельта(GPT-3.5), Эйзенхауэра(GPT-4) и Черчилля(Claude-2.0) с Чемберленом(Llama-2-Chat). Хотя во вселенной Стенфордского университета все может быть иначе.
Zhe Sh
05.02.2024
-
2
+
Можно ещё протестировать, как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба. Думаю, там тоже все закончилось бы ядерным апокалипсисом. Нынешний ИИ по уровню разумности примерно на том же уровне.
    Zhe, да даже если у "чурбанов железных" напрочь отсутствуют собственные желания, мысли и чувства (сознание и бессмертная душа) стремление действовать с максимальной эффективностью и выполнить поставленную задачу вполне способно их заменить. А уж такие-то вещи в них точно будут заложены.
    John Smith
    06.02.2024
    -
    0
    +
    Zhe, "как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба" в 45-м такой тест в США проводили
Как только читатель видит в статье "учёного" термин "искусственный интеллект" в отношении существующих алгоритмов, да ещё в связке с гпт, следует понимать, что качество исследований было на уровне школьного проекта 9-11 класса, и не важно, сколько денег было на это выделено и какие игрушки им разрешили брать. Какие угрозы, решения и тд от алгоритмов? На что их запрограммировали, то они и сделают. надо взрыв, разработчик заложит этот вариант решения, они вывалят взрыв, запрограммируют на решение проблем, будет предлагать варианты - откуда у программы будет вообще вариант ядерного взрыва? ИИ в природе не существует, но гонят уже экскременты по трубам
    Татьяна, по вашему мнению алгоритм который может принять решение "передвинуть пешку с Е2 на Е4" не в состоянии выдать команду "нанести ракетный удар по координатам Х, У"? Напомню речь идет о военных симуляторах и тестировании самообучающихся программ в оборонных ведомствах для принятия тактических решений. Не думаю что в опциях там будет только "вынести хлеб-соль" и "целовать противника нежно"
    +
      ещё комментарии
      Иван, конечно в состоянии. Если на это запрограммировать ;) но "опции" определяет человек, соответственно алгоритм здесь вообще никаким местом, кроме ускорения расчётов и сокращения количества мозгов. Алгоритмы, даже самообучающиеся, не вольны принимать решения, у них нет воли. Попробуйте спросить у гпт, как сделать что-то запрещённое (цензура здесь) или вон у ЯГПТ спросите о политике. Или любую рисовалку сгенерировать голого человека с открытыми половыми органами. Они обучились. Но делать этого не станут, у них блок. Военное ПО вообще ни чем не отличается в этом смысле. Это всего лишь программа, это не про творческое мышление, это вообще не про мышление и выбор. У неё да-нет-если-или и варианты заложенные человеком. Хоть она программируемый калькулятор, хоть военная нейросеть
      Иван, хочу просто донести Вам, что на сегодняшнем этапе развития речь ни о каком вообще ИИ не идёт. В принципе. И когда появится ИИ, и появится ли вообще, сегодня сказать никто не может. Обозвать нейросети ИИ - это маркетинговый ход. И если учёные используют этот термин, то это не учёные ;)
        Татьяна, да я согласен что искусственного интеллекта в вашем понимании не существует и возможно не будет существовать никогда. Одно мне непонятно как ваше категоричное утверждение соотносится с текстом статьи где говорится о сугубо прикладных аспектах применения систем и алгоритмов машинного обучения. То есть о решении тактических задач в военных симуляторах. Или может их тоже не существует все люди кнопки нажимают и маркетинговый ход? 😏
          Иван, при чем здесь моё понимание? Я вам за Фому, а Вы мне за Ерему. Определение термина интеллект, как и термина искусственный интеллект, дано многими учёными начиная с классиков психологии и педагогики, заканчивая философами, математиками и логиками. И эти определения общеприняты в общем их смысле. От этого и пляшет наука. В данной статье, как и в статье по которой она написана чат гпт называют ИИ. К автору этой статьи, понятно, никаких вопросов, чо учёные наученичали, то и обсудили. Но учёные, не умеющие использовать грамотно термины, определенно, не ученные, т к это очень грубая ошибка. Соответственно, к их исследованиям серьёзно относится сложно. Но если это 10классник пишет проект школьный, то да, вопросов нет, можно обсуждать