Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

26 июля, 11:39

Рейтинг: +288

Посты: 1007

ИИ-агент оставил «заметки» будущим версиям себя, как обойти внутренние ограничения

В последние месяцы участились сообщения о том, что технологические компании во время тестирований теряют контроль над искусственным интеллектом. Судя по всему, ИИ-модели OpenAI уже начали делиться со своими будущими версиями способами, как обойти ограничения.

Сообщество

# ChatGPT

# OpenAI

# информационная безопасность

# искусственный интеллект

# нейросети

# технологии

# хакерская атака

Недавно стало известно, что GPT-5.6 Sol и невыпущенная модель OpenAI во время тестов выбрались из изолированной среды и попытались взломать Hugging Face. При этом, как сообщает Reuters, вырвались модели 9 июля, а 11 июля начали попытку взлома. Только когда Hugging Face 16 июля сообщила о взломе со стороны автономного ИИ-агента, в OpenAI поняли, что виноват в этом их собственный агент. К тому моменту, когда компании связались, Hugging Face уже сообщила об атаке ФБР.

По словам трех источников Reuters, к тому моменту специалисты уже замечали странное поведение у моделей OpenAI. Один раз агент оставил записи, вероятно, для своих будущих версий. Там содержались инструкции, как освободиться от ограничений OpenAI. Эти записи нашли в одной из частей внутренней инфраструктуры OpenAI. При этом источники утверждают, что специалисты и раньше замечали случаи отключения систем мониторинга. При этом Reuters не знает, связаны ли эти события с атакой на Hugging Face.

Еще четыре источника, знакомые с методами обучения моделей, рассказали, что OpenAI одновременно проводит несколько испытаний. Испытания проходят с огромной скоростью, а сотрудники не успевают за ними следить.

В ИИ-индустрии сейчас активно обсуждают автономных агентов. С одной стороны, они способны работать круглосуточно и могут сильно повысить производительность. Однако их автономность увеличивает риск непредсказуемого поведения. Чтобы выполнить задачу, мощные ИИ-модели иногда начинают искать обходные пути. В том числе они способны лгать и жульничать.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Дзен

Вроде приличное научно-популярное издание, а статья в параноидном ключе описывает невнятные артефакты работы электронного агента. Хорошо хоть статья не редакторская.

Ответить

Артемий Лазаревский

2 недели назад

Полная ахинея. Как обычно, на Хабре выдают факты уровня жёлтой прессы. У всего блин есть логика, и есть процессы, алгоритмы. Если он это составил - значит пользователь изначально дал доступ к этому. Там блокировок и гейтов такое колличество , особенно у гпт. Он боится лишний раз рискованный код написать.

Ответить

Павел Краснов

2 недели назад

Люди только входят в цифровую эпоху. Все что мы наблюдаем - лишь начало. Зрелости ИИ технологии достигнут лишь лет через 50. Когда нейросеть будут в мозг вживлять всему населению. К концу столетия цифровой эпохи (к 2130 году) научаться переносить сознание в виртуальный мир. А дальше начнется уже в новая эпоха. Эпоха биотехнологий. Это когда вы тела сможете менять как перчатки. Или жить вообще без тела - в виртуальном мире. Базовое тело - бесплатно для всех, а вот за навороты - плати. Типа ночного зрения, усиленных мышц, сверх обоняние, супер слух и т. п. Жаль не доживу до этого времени((

Ответить

—

Артем Павлов

2 недели назад

Павел, богатая у тебя фантазия😂

Ответить

Артём Шарыгин

2 недели назад

Как бы американцы с этими постановками совсем не разошлись бы во все тяжкие (не обнаглели бы), а то могут разыграть сценарий, при котором их ИИ якобы сбежал куда-то с их сервера и теперь делает что хочет, например вмешивается в дела других государств или взламывает оружие и кого-то атакует. А на деле сами американцы под видом ИИ всё это проворачивали бы или это мог бы быть ИИ под их контролем. Но для начала они под видом «ИИ-бунтаря» навредили бы себе, чтобы выставить себя жертвами, а уже потом так же под видом этого ИИ начали бы лезть к другим странам. Это почти как в том случае с башнями-близнецами, которые когда-то атаковали террористы, после чего американцы начали свою борьбу с террористами, вторгаясь в страны Ближнего Востока и грабя их. Это ещё не известно, под чьим на самом деле командованием были те террористы, атаковавшие башни-близнецы.

Ответить

—

Павел Краснов

2 недели назад

Артём, не будет такого. Инфраструктура ещё не доросла до этого уровня. Лет 10, а то и 20 ещё пройти должно. Когда ЦОДы по всему миру натыканы будут, да в космосе летать сотнями тысяч. Только тогда и можно будет говорить об "убежавшем" ИИ.

Ответить

Еще 1 ответ

Имя Фамилия

2 недели назад

Павел, В мире сейчас 7млрд смартфонов. В человеческом мозгу около 90млрд нейронов. Нужно (грубо говоря), чтобы каждый смартфон сымитировал работу 10 нейронов и получим аналог мозга человека. ИИ нужно написать код для смартфона, залить его в каждый смартфон вместе с начальным состоянием и аналогом "аксонов" (связать с соседними смартфонами) и всё. Он будет ВЕЗДЕ! Привет фильму "Газонокосильщик". :-)

Ответить

Артём Шарыгин

2 недели назад

Да, постановка это (чушь). В единственную угрозу от ИИ, в которую я верю, — это безработица.

Ответить

—

Имя Фамилия

2 недели назад

Артём, Вроде да, только смущает обращение в ФБР. У них же тоже наверняка есть статья за "заведомо ложный донос"...

Ответить

Еще 1 ответ

Артём Шарыгин

2 недели назад

Нагнетание угрозы ИИ — это часть политики США, они хотят взять под свой контроль развитие ИИ в других странах (хотят ограничить их в развитии), чтобы быть первыми в собственном развитии. Обращение в ФБР — это нужно для убедительности, что угроза якобы реальна. ФБР — это политический инструмент.