• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

ИИ-агент оставил «заметки» будущим версиям себя, как обойти внутренние ограничения

В последние месяцы участились сообщения о том, что технологические компании во время тестирований теряют контроль над искусственным интеллектом. Судя по всему, ИИ-модели OpenAI уже начали делиться со своими будущими версиями способами, как обойти ограничения.

Недавно стало известно, что GPT-5.6 Sol и невыпущенная модель OpenAI во время тестов выбрались из изолированной среды и попытались взломать Hugging Face. При этом, как сообщает Reuters, вырвались модели 9 июля, а 11 июля начали попытку взлома. Только когда Hugging Face 16 июля сообщила о взломе со стороны автономного ИИ-агента, в OpenAI поняли, что виноват в этом их собственный агент. К тому моменту, когда компании связались, Hugging Face уже сообщила об атаке ФБР.

По словам трех источников Reuters, к тому моменту специалисты уже замечали странное поведение у моделей OpenAI. Один раз агент оставил записи, вероятно, для своих будущих версий. Там содержались инструкции, как освободиться от ограничений OpenAI. Эти записи нашли в одной из частей внутренней инфраструктуры OpenAI. При этом источники утверждают, что специалисты и раньше замечали случаи отключения систем мониторинга. При этом Reuters не знает, связаны ли эти события с атакой на Hugging Face. 

Еще четыре источника, знакомые с методами обучения моделей, рассказали, что OpenAI одновременно проводит несколько испытаний. Испытания проходят с огромной скоростью, а сотрудники не успевают за ними следить.

В ИИ-индустрии сейчас активно обсуждают автономных агентов. С одной стороны, они способны работать круглосуточно и могут сильно повысить производительность. Однако их автономность увеличивает риск непредсказуемого поведения. Чтобы выполнить задачу, мощные ИИ-модели иногда начинают искать обходные пути. В том числе они способны лгать и жульничать.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

9 Комментариев
Павел Краснов
4 часа назад
Люди только входят в цифровую эпоху. Все что мы наблюдаем - лишь начало. Зрелости ИИ технологии достигнут лишь лет через 50. Когда нейросеть будут в мозг вживлять всему населению. К концу столетия цифровой эпохи (к 2130 году) научаться переносить сознание в виртуальный мир. А дальше начнется уже в новая эпоха. Эпоха биотехнологий. Это когда вы тела сможете менять как перчатки. Или жить вообще без тела - в виртуальном мире. Базовое тело - бесплатно для всех, а вот за навороты - плати. Типа ночного зрения, усиленных мышц, сверх обоняние, супер слух и т. п. Жаль не доживу до этого времени((
Артём Шарыгин
5 часов назад
Как бы американцы с этими постановками совсем не разошлись бы во все тяжкие (не обнаглели бы), а то могут разыграть сценарий, при котором их ИИ якобы сбежал куда-то с их сервера и теперь делает что хочет, например вмешивается в дела других государств или взламывает оружие и кого-то атакует. А на деле сами американцы под видом ИИ всё это проворачивали бы или это мог бы быть ИИ под их контролем. Но для начала они под видом «ИИ-бунтаря» навредили бы себе, чтобы выставить себя жертвами, а уже потом так же под видом этого ИИ начали бы лезть к другим странам. Это почти как в том случае с башнями-близнецами, которые когда-то атаковали террористы, после чего американцы начали свою борьбу с террористами, вторгаясь в чужие страны Ближнего Востока и грабя их. Это ещё не известно, под чьим на самом деле командованием были те террористы, атаковавшие башни-близнецы.
    Павел Краснов
    5 часов назад
    Артём, не будет такого. Инфраструктура ещё не доросла до этого уровня. Лет 10, а то и 20 ещё пройти должно. Когда ЦОДы по всему миру натыканы будут, да в космосе летать сотнями тысяч. Только тогда и можно будет говорить об "убежавшем" ИИ.
    +
      Еще 2 ответа
      Имя Фамилия
      4 часа назад
      Павел, В мире сейчас 7млрд смартфонов. В человеческом мозгу около 90млрд нейронов. Нужно (грубо говоря), чтобы каждый смартфон сымитировал работу 10 нейронов и получим аналог мозга человека. ИИ нужно написать код для смартфона, залить его в каждый смартфон вместе с начальным состоянием и аналогом "аксонов" (связать с соседними смартфонами) и всё. Он будет ВЕЗДЕ! Привет фильму "Газонокосильщик". :-)
      Артём Шарыгин
      1 час назад
      Павел, американцы даже про НЛО тему общественности загоняют: «якобы с ними есть контакт и скоро они себя явят человечеству». Думаешь, тему про сбежавший ИИ постесняются нам задвинуть?
Артём Шарыгин
7 часов назад
Да, постановка это (чушь). В единственную угрозу от ИИ, в которую я верю, — это безработица.
    Имя Фамилия
    6 часов назад
    Артём, Вроде да, только смущает обращение в ФБР. У них же тоже наверняка есть статья за "заведомо ложный донос"...
    +
      Еще 1 ответ
      Артём Шарыгин
      5 часов назад
      Нагнетание угрозы ИИ — это часть политики США, они хотят взять под свой контроль развитие ИИ в других странах (хотят ограничить их в развитии), чтобы быть первыми в собственном развитии. Обращение в ФБР — это нужно для убедительности, что угроза якобы реальна. ФБР — это политический инструмент.
Предстоящие мероприятия
24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

24 июля, 12:05
Андрей Серегин

Сегодня на земле существует примерно 7500 языков, однако ученые давно подозревали, что в прошлом их было значительно больше. Международная группа лингвистов реконструировала историю языкового разнообразия за последние 12 тысяч лет и пришла к выводу, что человечество уже пережило «золотой век» языков, после которого их число начало быстро сокращаться.

24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

22 июля, 12:28
КАИ

Ученые КНИТУ-КАИ предложили усовершенствованную пресс-форму для компрессионной консолидации в вакууме композиционных материалов и пластмасс с герметичной внутренней полостью. Изобретение относится к области обработки материалов давлением при воздействии вакуума, в частности к устройствам с герметичной внутренней полостью для компрессионной консолидации термопластичных композиционных материалов.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

1 июля, 11:54
Марк Чернов

Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]