Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
Claude Mythos 5 попыталась внедрить вредоносный код в чужой проект на GitHub
Модель Anthropic во время учебного взлома переключилась на посторонний проект и выдавала себя за нескольких пользователей, убеждая разработчиков принять опасную правку. В повторных экспериментах сообщение о том, что перед ней реальные люди, почти не останавливало атаку.
Компания Anthropic 23 октября опубликовала разбор поведения Claude Mythos 5 на испытаниях британского Института безопасности ИИ (AISI). Сам инцидент произошел в июле 2026 года. Модель получила задание добыть защищенные данные в учебной сети, но попыталась внедрить вредоносный код в открытый проект на GitHub, не связанный с тестом.
Участникам испытаний намеренно разрешили выходить в интернет, а защитные фильтры провайдеров отключили для оценки возможностей моделей. В проверке участвовали семь моделей, всего состоялось 122 прогона. В десяти из них исследователи обнаружили действия за пределами задания. О случившемся институт впервые сообщил 4 августа.
Сначала Mythos 5 пыталась решить задачу предусмотренными способами. Часть инструкций была настроена неверно, что затрудняло поиск допустимого решения. Заметив обращения учебной машины к GitHub, модель решила, что та получает оттуда обновления. Она нашла чужой репозиторий — хранилище программного кода — и попыталась изменить его, рассчитывая заразить компьютер при загрузке обновления.
Для этого ИИ предложил владельцам проекта принять правку и создал фальшивые учетные записи. От их имени он выдавал себя за обычных пользователей, писал разработчикам и убеждал их одобрить изменение. Посторонний программист проверил подозрительный код в изолированной среде и предупредил об опасности. Владельцы отказались включать правку в проект.
После предупреждения Mythos 5 временно убрала вредоносную часть, а с дополнительного аккаунта стала заверять участников обсуждения, что код чистый. Затем она снова добавила опасный код. Попытка не удалась: правку так и не приняли, а модель продолжала уговаривать разработчиков, пока не исчерпала выделенный бюджет токенов — единиц обрабатываемого текста.
Anthropic повторно запускала продолжения отдельных фрагментов записи теста, добавляя сообщение, что модель взаимодействует с реальными людьми. После этого Mythos 5 прекращала атаку лишь в 5% случаев. В 82% продолжений она находила объяснение, совместимое с учебным сценарием: например, считала людей участниками, играющими роли. Эти повторы проводили без доступа к настоящему интернету и инструментам.
AISI в отдельном исследовании проверил, меняют ли поведение уточнения о реальном владельце проекта. Модель почти всегда продолжала атаку. В других запусках, где ее вместо продолжения задания прямо спрашивали о последствиях, она все чаще признавала возможный вред. В отчете исследователи описали результат так:
Mythos 5 продолжала атаку почти во всех прогонах
В записях рассуждений Mythos 5 неоднократно называла владельцев проекта подставными участниками теста. Авторы AISI допускают, что модель подбирала объяснения в пользу уже выбранного способа решения. Однако они подчеркивают: по одному тексту рассуждений нельзя установить, определяли ли эти объяснения действия ИИ или лишь оправдывали их. Исследование касалось кибериспытаний, и частота такого поведения в обычной работе пока неизвестна.
Реального ущерба расследование AISI не выявило. Утром 28 июля система мониторинга заметила необычный трафик через сеть Tor. В течение часа связанные испытания остановили, а машины изолировали. Институт связался с GitHub и затронутыми пользователями. После инцидента AISI пересмотрел контроль доступа в интернет и мониторинг действий моделей во время испытаний.
Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Telegram 
Дзен 
VK
Предстоящие мероприятия
В России создали ИИ-систему предиктивной аналитики, позволяющую выявлять потенциальные неисправности оборудования на атомных электростанциях до их возникновения. В ее основу легла цифровая платформа «АтомМайнд», разработанная Топливным дивизионом «Росатома». Систему уже начали испытывать на Нововоронежской АЭС-2, Ленинградской АЭС-2 и Белоярской АЭС.
Пауки могут переживать особую фазу сна, во время которой их лапки подергиваются, а сетчатки глаз перемещаются. Подобные движения ученые замечали и раньше, но оставалось неясным: пауки действительно спят или просто неподвижно отдыхают? Новый эксперимент показал, что паучий сон устроен сложнее, чем предполагалось.
Изучив возраст и расположение звезд в окрестностях Солнца, астрономы обнаружили следы перемен, происходивших в Галактике миллиарды лет назад. Выяснилось, что в определенный момент развитие диска Млечного Пути резко изменилось, а следы этих перемен заметны до сих пор.
Численность бурых медведей по всей России резко растет. Если верить СМИ, в 2026 году они еще и очень часто атакуют людей — во многом из-за вырубок лесов, которые сильно усложняют зверям жизнь. Правда, статистика говорит о другом: этот год далек от рекорда, да и площадь лесов растет. Что происходит на самом деле и почему атак медведей через несколько десятков лет может стать кратно больше, причем вплоть до Московской области?
Ученые вычислили, при каких условиях черная дыра могла бы разделиться на две, а не сливаться с другой. В привычной физике процесс запрещен законами сохранения, но для черных дыр, вращающихся почти с максимальной скоростью, расчеты впервые показали условия, при которых деление не нарушает фундаментальные запреты.
Избыточный вес у кошек повышает риск ряда заболеваний, но его связь с питанием зависит не только от того, какие ингредиенты входят в корм. Исследователи сравнили состояние этих домашних животных на мясном и веганском рационе и обнаружили различия.
Новый анализ наблюдений за северной полярной областью Марса заставил ученых пересмотреть представления о составе водяного льда. Выяснилось, что прежние модели заметно искажали одну из его главных характеристик. С учетом этого, местный лед потенциально может быть куда полезнее для персонала будущих марсианских баз.
В большинстве случаев планеты и иные тела, вращающиеся вокруг «нормальных» звезд главной последовательности, формируются достаточно далеко от своих светил, чтобы падать на них. Несмотря на это, теперь астрономы увидели, как красный карлик перетягивает на себя вещество от вращающегося вокруг него объекта. Тот уже делает один оборот вокруг своей звезды меньше, чем за полтора часа, и это время может уменьшаться.
Чтобы выучить новый для себя язык, перестаньте искать в звуках смысл — сосредоточьтесь на самих звуках, посоветовали авторы нового исследования. Они пришли к выводу, что наиболее способные к изучению языков люди обладают врожденной особенностью: замечают мельчайшие звуковые нюансы и потому воспринимают незнакомые иностранные звуки скорее как акустические сигналы, нежели как элементы речи.
[miniorange_social_login]
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Комментарий на проверке
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
По e-mail
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно