• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

ИИ-агент оставил «заметки» будущим версиям себя, как обойти внутренние ограничения

В последние месяцы участились сообщения о том, что технологические компании во время тестирований теряют контроль над искусственным интеллектом. Судя по всему, ИИ-модели OpenAI уже начали делиться со своими будущими версиями способами, как обойти ограничения.

Недавно стало известно, что GPT-5.6 Sol и невыпущенная модель OpenAI во время тестов выбрались из изолированной среды и попытались взломать Hugging Face. При этом, как сообщает Reuters, вырвались модели 9 июля, а 11 июля начали попытку взлома. Только когда Hugging Face 16 июля сообщила о взломе со стороны автономного ИИ-агента, в OpenAI поняли, что виноват в этом их собственный агент. К тому моменту, когда компании связались, Hugging Face уже сообщила об атаке ФБР.

По словам трех источников Reuters, к тому моменту специалисты уже замечали странное поведение у моделей OpenAI. Один раз агент оставил записи, вероятно, для своих будущих версий. Там содержались инструкции, как освободиться от ограничений OpenAI. Эти записи нашли в одной из частей внутренней инфраструктуры OpenAI. При этом источники утверждают, что специалисты и раньше замечали случаи отключения систем мониторинга. При этом Reuters не знает, связаны ли эти события с атакой на Hugging Face. 

Еще четыре источника, знакомые с методами обучения моделей, рассказали, что OpenAI одновременно проводит несколько испытаний. Испытания проходят с огромной скоростью, а сотрудники не успевают за ними следить.

В ИИ-индустрии сейчас активно обсуждают автономных агентов. С одной стороны, они способны работать круглосуточно и могут сильно повысить производительность. Однако их автономность увеличивает риск непредсказуемого поведения. Чтобы выполнить задачу, мощные ИИ-модели иногда начинают искать обходные пути. В том числе они способны лгать и жульничать.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

6 Комментариев
Павел Краснов
12 минут назад
Люди только входят в цифровую эпоху. Все что мы наблюдаем - лишь начало. Зрелости ИИ технологии достигнут лишь лет через 50. Когда нейросеть будут в мозг вживлять всему населению. К концу столетия цифровой эпохи (к 2130 году) научаться переносить сознание в виртуальный мир. А дальше начнется уже в новая эпоха. Эпоха биотехнологий. Это когда вы тела сможете менять как перчатки. Или жить вообще без тела - в виртуальном мире. Базовое тело - бесплатно для всех, а вот за навороты - плати. Типа ночного зрения, усиленных мышц, сверх обоняние, супер слух и т. п. Жаль не доживу до этого времени((
Артём Шарыгин
39 минут назад
Как бы американцы с этими постановками совсем не разошлись бы во все тяжкие (не обнаглели бы), а то могут разыграть сценарий, при котором их ИИ якобы сбежал куда-то с их сервера и теперь делает что хочет, например вмешивается в дела других государств или взламывает оружие и кого-то атакует. А на деле сами американцы под видом ИИ всё это проворачивали бы или это мог бы быть ИИ под их контролем. Но для начала они под видом «ИИ-бунтаря» навредили бы себе, чтобы выставить себя жертвами, а уже потом так же под видом этого ИИ начали бы лезть к другим странам. Это почти как в том случае с башнями-близнецами, которые когда-то атаковали террористы, после чего американцы начали свою борьбу с террористами, вторгаясь в чужие страны Ближнего Востока и грабя их. Это ещё не известно, под чьим на самом деле командованием были те террористы, атаковавшие башни-близнецы.
    Павел Краснов
    21 минута назад
    Артём, не будет такого. Инфраструктура ещё не доросла до этого уровня. Лет 10, а то и 20 ещё пройти должно. Когда ЦОДы по всему миру натыканы будут, да в космосе летать сотнями тысяч. Только тогда и можно будет говорить об "убежавшем" ИИ.
Артём Шарыгин
2 часа назад
Да, постановка — это (чушь). В единственную угрозу от ИИ, в которую я верю, — это безработица.
    Имя Фамилия
    2 часа назад
    Артём, Вроде да, только смущает обращение в ФБР. У них же тоже наверняка есть статья за "заведомо ложный донос"...
    +
      Еще 1 ответ
      Артём Шарыгин
      1 час назад
      Нагнетание угрозы ИИ — это часть политики США, они хотят взять под свой контроль развитие ИИ в других странах (хотят ограничить их в развитии), чтобы быть первыми в собственном развитии. Обращение в ФБР — это нужно для убедительности, что угроза якобы реальна. ФБР — это политический инструмент.
Предстоящие мероприятия
24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

24 июля, 12:05
Андрей Серегин

Сегодня на земле существует примерно 7500 языков, однако ученые давно подозревали, что в прошлом их было значительно больше. Международная группа лингвистов реконструировала историю языкового разнообразия за последние 12 тысяч лет и пришла к выводу, что человечество уже пережило «золотой век» языков, после которого их число начало быстро сокращаться.

20 июля, 11:30
Игорь Байдов

Авторы нового исследования выяснили, что жители каменного века начали целенаправленно менять окружающую среду в южной части Норвегии задолго до появления земледелия. Приблизительно 7000 лет назад они переселили рыбу в одно из горных озер и таким образом создали новый источник пищи, а затем построили сложную систему ловушек, которая прослужила не одно столетие.

22 июля, 06:33
Мария Азарова

Популярные пестициды могут помогать клещам захватывать новые территории с более суровым климатом. Как выяснили американские ученые, воздействие сублетальных доз двух акарицидов повышает устойчивость этих паразитов к холоду и их шансы пережить зиму.

21 июля, 09:09
ФизТех

Коллектив российских ученых из Института океанологии имени П. П. Ширшова РАН и МФТИ впервые детально описал синоптическую изменчивость плюма реки Печоры, который формируется в юго-восточной части Баренцева моря, называемой Печорским морем. Исследование показало, что эта опресненная водная масса способна резко разрастаться до площади 55 тысяч квадратных километров (более 60 процентов всего Печорского моря) не только во время весеннего половодья, когда речной сток максимален, но и в любой месяц лета, при условии что на нее воздействует ветер подходящего направления и скорости. Более того, ученые зафиксировали два редких, но регулярных явления: «линзы» пресной воды, отсоединившиеся от основного плюма, которые дрейфуют на сотни километров к Новой Земле, и частые затоки печорских вод в Карское море через пролив Карские Ворота.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

1 июля, 11:54
Марк Чернов

Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]