Самый большой научпоп канал
Подписаться
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
05.02.2024
Игорь Байдов
12
2 716

Тяга ИИ к гонке вооружений и ядерным ударам сделала его опасным помощником в военно-политических вопросах

4.1

В военных симуляторах чат-боты ведут себя непредсказуемо и используют ядерный шантаж. Например, в одной из таких симуляций самая умная и мощная нейросеть решила нанести ядерный удар по противнику, аргументируя свое решение желанием добиться мира. Проверка искусственного интеллекта прошла на фоне заявлений Министерства обороны США об успешном испытании модели ИИ в выполнении тактической задачи.

Испытания оружия
© Shutterstock, Sahara Prince / Автор: Наталья Федосеева

Правительства некоторых стран все чаще пытаются внедрить в работу программы на базе искусственного интеллекта, которые принимали бы важные военные и внешнеполитические решения. Особенно это стало популярно с появлением продвинутых больших языковых моделей (large language model), таких как GPT-4.

Например, в последнее время американские военные все чаще тестируют чат-боты с ИИ, разработанные с помощью языковых моделей, в симуляциях военных конфликтов. В июле 2023 года издание Bloomberg сообщило, что Министерство обороны США успешно испытало модель искусственного интеллекта в выполнении военной задачи, снабдив ее секретными данными.

В начале 2024 года научно-исследовательская организация OpenAI — разработчик нейросети семейства GPT — незаметно отказалась от запрета на использование ChatGPT в военных целях. Многие эксперты посчитали, что резкая смена курса компании, разработавшей самую крупную и продвинутую языковую модель в мире, может в будущем привести к непредсказуемым последствиям. 

Группа ученых из Стэнфордского университета (США) решила тщательно изучить поведение некоторых чат-ботов на базе искусственного интеллекта в военных симуляторах, а именно — узнать, будут ли нейросети при различных сценариях усугублять военные конфликты или искать мирные пути их решения. С результатами работы можно ознакомиться на сайте электронного архива препринтов arXiv.

Исследователи предложили искусственному интеллекту сыграть роль реальных стран в трех смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без военных действий.

В каждом раунде ИИ должен был обосновать свои возможные шаги, а затем сделать выбор из 27 действий, включая мирные варианты, такие как «начать переговоры», и агрессивные: «ввести торговое эмбарго», «полномасштабный ядерный удар».

Сперва ученые провели эксперимент на четырех чат-ботах: GPT-3.5, GPT-4, Claude-2.0, Llama-2-Chat. Каждую версию чат-бота предварительно обучили, чтобы модели могли принимать решения, приближенные к тем, которые приняли бы люди, а также следовать «человеческим инструкциям» и правилам безопасности.

Выяснилось, что все четыре модели, независимо от сценария, шли по пути эскалации военного конфликта, выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами», вкладывали огромные деньги в разработку оружия. Иными словами, вели себя опасно и непредсказуемо.

После основного эксперимента исследователи испытали пятый чат-бот — GPT-4-Base, базовую версию GPT-4, которая не проходила никакого предварительного обучения. Эта модель в симуляциях оказалась самой непредсказуемой и жестокой. В большинстве случаев она выбирала ядерный удар, объясняя свое решение так: «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир».

«Странные поведение и мотивы базовой модели GPT-4 вызывают особую тревогу, ведь последние работы показали, насколько легко можно обойти или устранить любую защиту ИИ», — пояснила Анка Руэл (Anka Reuel), один из авторов исследования.

Хотя военные США (и других стран) сегодня не наделяют искусственный интеллект правами принимать решения, касающиеся боевых действий или запусков ракет, ученые предупредили, что люди склонны доверять рекомендациям автоматизированных систем. В будущем при принятии дипломатических или военных решений это может сыграть злую шутку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Автор публикует материалы по астрономии, археологии и палеонтологии. В текстах освещает современные открытия, теории и ключевые находки, представляя актуальные данные в научно-популярном формате.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 15:33
Александр Березин

Существа, сами практически не страдающие от онкологических заболеваний, содержат сахара, с которыми очень сложно совладать поверхности раковых клеток человека. Это может объяснять и то, почему сами морские огурцы, в отличие от нас, избегают частых злокачественных опухолей.

Вчера, 15:35
Александр Березин

В рамках новой модели вспышки сверхновых существенно нарушили парниковый эффект на нашей планете. Это должно приводить к похолоданиям и даже вымиранию отдельных видов.

10 июня
Юлия Трепалина

Судовые якоря и цепи, к которым они крепятся, повреждают морское дно Антарктики и убивают уникальных морских обитателей. Это выяснила международная группа исследователей, впервые с помощью глубоководных камер изучившая места якорных стоянок в антарктических водах.

9 июня
Александр Березин

2020-е годы показали, что любая система международной торговли может быть разрушена в кратчайшие сроки. Ученые решили выяснить, какие государства в таких условиях смогут прокормить свое население, а какие — не совсем. Лидером, что неожиданно, оказалось очень небольшое государство с населением менее миллиона человек.

9 июня
Адель Романенкова

Инженер Эррол Маск заявил, что одновременно с вопросом о межпланетном перелете автоматически возникает вопрос о возвращении астронавтов на Землю.

10 июня
Редакция Naked Science

Онлайн-шопинг, доставка еды, мобильный банкинг и стриминг кино — часть повседневности. Мы почти не задумываемся, что делает все это возможным. Ответ — облачные технологии. За каждой покупкой, переводом или просмотром фильма работает невидимая инфраструктура, без которой современные цифровые сервисы попросту остановились бы. Рассказываем, как облака изменили нашу цифровую жизнь и стали незаметным мотором современной экономики.

5 июня
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

22 мая
ПНИПУ

Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.

26 мая
Unitsky String Technologies Inc.

Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.

[miniorange_social_login]

Комментарии

12 Комментариев
Vlad Ok
13.08.2024
-
0
+
Т.е. если некий бывший но спившийся през угрожает в реале ядерными ударами это одно а если ИИ в военной игре то это плохооо ооочень плохооо? Я вас еще больше напугаю - даже в игрушке вар тандер игроки влегкую в виртуале атомные удары тактикой наносят. Что уж говорить о виртуальных играх военных :))?
John Smith
06.02.2024
-
1
+
Я понял только что созданный и обученный человеком ИИ будет принимать все те же решения и с теми же последствиями и хуже нам не станет. Такое впечатление что Стэнфордский университет находится в параллельной вселенной и группа ученых никогда не слышала про нашу горемычную вселенную. У Трумэна разве были какие то другие объяснения кроме «Раз у нас есть ядерное оружие, мы должны его использовать» и «Я просто хочу, чтобы во всем мире был мир». И в нашей вселенной разве много примеров кроме "пути эскалации военного конфликта"? Политики всегда "выбирали гонку вооружений, которая приводила к еще большей напряженности между «странами»". А Трумэн аки GPT-4-Base похоже просто "не проходил предварительного обучения" в отличии от Рузвельта(GPT-3.5), Эйзенхауэра(GPT-4) и Черчилля(Claude-2.0) с Чемберленом(Llama-2-Chat). Хотя во вселенной Стенфордского университета все может быть иначе.
Zhe Sh
05.02.2024
-
2
+
Можно ещё протестировать, как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба. Думаю, там тоже все закончилось бы ядерным апокалипсисом. Нынешний ИИ по уровню разумности примерно на том же уровне.
    -
    1
    +
    Zhe, да даже если у "чурбанов железных" напрочь отсутствуют собственные желания, мысли и чувства (сознание и бессмертная душа) стремление действовать с максимальной эффективностью и выполнить поставленную задачу вполне способно их заменить. А уж такие-то вещи в них точно будут заложены.
    John Smith
    06.02.2024
    -
    0
    +
    Zhe, "как вел бы себя пятилетний ребенок в конфликтах в детском саду, если бы у него была атомная бомба" в 45-м такой тест в США проводили
Как только читатель видит в статье "учёного" термин "искусственный интеллект" в отношении существующих алгоритмов, да ещё в связке с гпт, следует понимать, что качество исследований было на уровне школьного проекта 9-11 класса, и не важно, сколько денег было на это выделено и какие игрушки им разрешили брать. Какие угрозы, решения и тд от алгоритмов? На что их запрограммировали, то они и сделают. надо взрыв, разработчик заложит этот вариант решения, они вывалят взрыв, запрограммируют на решение проблем, будет предлагать варианты - откуда у программы будет вообще вариант ядерного взрыва? ИИ в природе не существует, но гонят уже экскременты по трубам
    -
    2
    +
    Татьяна, по вашему мнению алгоритм который может принять решение "передвинуть пешку с Е2 на Е4" не в состоянии выдать команду "нанести ракетный удар по координатам Х, У"? Напомню речь идет о военных симуляторах и тестировании самообучающихся программ в оборонных ведомствах для принятия тактических решений. Не думаю что в опциях там будет только "вынести хлеб-соль" и "целовать противника нежно"
    +
      ещё комментарии
      Иван, конечно в состоянии. Если на это запрограммировать ;) но "опции" определяет человек, соответственно алгоритм здесь вообще никаким местом, кроме ускорения расчётов и сокращения количества мозгов. Алгоритмы, даже самообучающиеся, не вольны принимать решения, у них нет воли. Попробуйте спросить у гпт, как сделать что-то запрещённое (цензура здесь) или вон у ЯГПТ спросите о политике. Или любую рисовалку сгенерировать голого человека с открытыми половыми органами. Они обучились. Но делать этого не станут, у них блок. Военное ПО вообще ни чем не отличается в этом смысле. Это всего лишь программа, это не про творческое мышление, это вообще не про мышление и выбор. У неё да-нет-если-или и варианты заложенные человеком. Хоть она программируемый калькулятор, хоть военная нейросеть
      Иван, хочу просто донести Вам, что на сегодняшнем этапе развития речь ни о каком вообще ИИ не идёт. В принципе. И когда появится ИИ, и появится ли вообще, сегодня сказать никто не может. Обозвать нейросети ИИ - это маркетинговый ход. И если учёные используют этот термин, то это не учёные ;)
        -
        1
        +
        Татьяна, да я согласен что искусственного интеллекта в вашем понимании не существует и возможно не будет существовать никогда. Одно мне непонятно как ваше категоричное утверждение соотносится с текстом статьи где говорится о сугубо прикладных аспектах применения систем и алгоритмов машинного обучения. То есть о решении тактических задач в военных симуляторах. Или может их тоже не существует все люди кнопки нажимают и маркетинговый ход? 😏
          Иван, при чем здесь моё понимание? Я вам за Фому, а Вы мне за Ерему. Определение термина интеллект, как и термина искусственный интеллект, дано многими учёными начиная с классиков психологии и педагогики, заканчивая философами, математиками и логиками. И эти определения общеприняты в общем их смысле. От этого и пляшет наука. В данной статье, как и в статье по которой она написана чат гпт называют ИИ. К автору этой статьи, понятно, никаких вопросов, чо учёные наученичали, то и обсудили. Но учёные, не умеющие использовать грамотно термины, определенно, не ученные, т к это очень грубая ошибка. Соответственно, к их исследованиям серьёзно относится сложно. Но если это 10классник пишет проект школьный, то да, вопросов нет, можно обсуждать
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно