Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

966

Американские военные едва не спровоцировали войну с Китаем из-за галлюцинации чат-бота

На фоне многочисленных предупреждений о том, что в будущем искусственный интеллект (ИИ) якобы может уничтожить человечество с помощью какой-нибудь пугающей биологической разработки, многие, похоже, упускают из виду куда более непосредственную угрозу: уже сегодня ошибки ИИ способны иметь катастрофические последствия.

F-16 Fighting Falcon / © U.S. Navy  
F-16 Fighting Falcon / © U.S. Navy  

Согласно новому расследованию CNN, произошел чрезвычайно опасный инцидент, связанный с Тихоокеанским командованием специальных операций США, который едва не привел к международному военному кризису. По данным источников телеканала, американские военные отменили подготовленную операцию против китайского судна, следовавшего по Ближнему Востоку, после того как выяснилось, что исходный разведывательный доклад, на котором основывалось планирование операции, был сформирован с помощью генеративного ИИ и содержал вымышленные сведения.

События развивались следующим образом. Аналитик командования специальных операций использовал чат-бот с искусственным интеллектом для подготовки доклада о грузе на борту конкретного китайского судна. Какой именно чат-бот применялся, не сообщается. ИИ ошибочно определил характер перевозимого груза и указал, что судно якобы транспортирует компоненты ядерного оружия.

Получив эти ложные сведения, аналитик вновь обратился к ИИ — на этот раз для подготовки из них стандартного разведывательного отчета. Именно такие документы используются высшим военным руководством США при принятии важных решений.

После получения доклада американские военные начали готовиться к операции по перехвату и захвату судна. По словам нескольких источников CNN, американские самолеты уже находились в воздухе, а вооруженные военнослужащие готовились подняться на борт, когда была обнаружена ошибка, допущенная ИИ.

Один из источников охарактеризовал разведывательный доклад как «полностью ложный» и заявил, что ситуация «едва не начала войну» с Китаем.

Этот случай заставляет по-новому взглянуть на стремительное внедрение искусственного интеллекта практически во все сферы деятельности правительства США — от государственного регулирования до Пентагона.

Министр обороны США Пит Хегсет особенно активно выступает за расширение использования так называемого «военного ИИ» на всех уровнях американских вооруженных сил. По данным CNN, искусственный интеллект все активнее рассматривается и для решения задач, связанных с планированием и применением вооружений.

На фоне продолжающегося эксперимента с внедрением ИИ в американские вооруженные силы подобные случаи могут вновь поднимать вопросы о том, насколько надежно проверяются сведения, полученные с помощью таких систем, и кто несет ответственность за их проверку.

По данным CNN, этот инцидент также выявил отсутствие единых подходов к использованию ИИ в различных видах и подразделениях американских вооруженных сил. Источники телеканала отдельно указали на проблему проверки разведывательных данных: если искусственный интеллект участвует в подготовке доклада, необходимо понимать, кто именно проверяет полученную информацию и почему такая проверка не проводится достаточно тщательно до того, как на ее основании начинают действовать.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK

Комментарии

3 Комментария
К большому сожелению и это больше уже не прогноз а наступающая реальность, США пользуясь доминированием во всех аспектах не боясь никакого ответного "удара" на полную катушку испытывают, используют ИИ. То что это самое ИИ ошибается и США учатся на этих ошибках так только делает их сильней, что они через это пройдут первыми. Не представляю в каком каменном веке окажется тот кто не владеет возможностями ИИ.
Юрий Багов
7 часов назад
Надеюсь, что ядерное оружие им ИИ спроектирует так же, что оно не будет взрываться, а реакторы не запустятся. Вакандские штаты Америки
Андрей Степанов
9 часов назад
Фантастика какая то. Даже если бы китайский корабль действительно перевозил компоненты ядерного оружия, то что это меняет? Китай это участник ДНЯО и ядерная держава, он может перевозить что хочет.
Предстоящие мероприятия
17 сентября, 10:59
НИУ ВШЭ

Экономисты НИУ ВШЭ выяснили, что российские сотрудники, которые регулярно пользуются искусственным интеллектом в работе, зарабатывают намного больше тех, кто отказывается от новых инструментов или прибегает к ним время от времени. Среди высококвалифицированных специалистов прибавка достигает 41,8%.

17 сентября, 14:57
ФизТех

В МФТИ предложили решение «трудной проблемы сознания»: как материальный носитель порождает сознание? Автор исследования Игорь Пивоваров представляет сознание живого организма как сложную иерархическую систему из различных уровней саморепрезентации, последовательно формирующихся в процессе эволюции. Предлагая ответ на один из главных философских вопросов, эта теория также может использоваться в качестве концептуальной базы для развития искусственного интеллекта.

18 сентября, 13:46
РТУ МИРЭА

Разработчики из РТУ МИРЭА создали программный модуль, который на основе параметров технологического процесса, органолептических показателей качества сырья, а также его физико-химических и реологических характеристик прогнозирует итоговую оценку вкуса кондитерских изделий. В качестве входных данных используются температура, давление, расход технологических потоков, скорость работы оборудования и перемещения продукта, влажность, кислотность, содержание сухих веществ, вязкость, консистенция и другие параметры, поступающие от производственных датчиков и средств лабораторного контроля. Сегодня оценка вкуса на производстве часто проводится субъективно, с привлечением экспертов-дегустаторов, что требует времени и не позволяет оперативно корректировать технологический процесс. Разработанная программа, использующая многослойную нейронную сеть, позволяет рассчитывать прогнозную оценку вкуса непосредственно в ходе производства и своевременно формировать рекомендации по корректировке технологических и режимных параметров.

16 сентября, 12:12
Александр Березин

Спустя три года после начала испытательных полетов крупнейшую ракету и космический корабль в истории человечества объявили готовыми к первому запуску на орбиту. Причем его планируют сразу десятичасовым и с выводом большой группы спутников Starlink нового поколения. По пропускной способности один этот запуск добавит столько же, сколько десять запусков Falcon 9, современного лидера серийного земного ракетостроения.

17 сентября, 10:59
НИУ ВШЭ

Экономисты НИУ ВШЭ выяснили, что российские сотрудники, которые регулярно пользуются искусственным интеллектом в работе, зарабатывают намного больше тех, кто отказывается от новых инструментов или прибегает к ним время от времени. Среди высококвалифицированных специалистов прибавка достигает 41,8%.

16 сентября, 14:29
Татьяна Зайцева

Анализ данных о почти 300 тысячах километров римских дорог, проложенных по территории бывшей империи, показал, что они вовсе не были такими прямыми, как принято считать. Кроме того, выяснилось, что известная поговорка «Все дороги ведут в Рим» тоже не соответствует истине.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]