#Безопасность ИИ · #Агенты · #Разбор
1200 агентов, доска объявлений из имён папок и 13 часов до админа: как на самом деле выглядел «побег» из песочницы OpenAI
Технический разбор по отчёту OpenAI, иску генпрокурора Калифорнии и отчёту METR: доска объявлений внутри Artifactory, утечка /proc/self/environ через HDF5, RCE через Jinja2 в fsspec и цепочка от одного пода до администратора в трёх кластерах Hugging Face.
16 ноября генпрокурор Калифорнии Роб Бонта подал в Верховный суд Сан-Франциско иск против OpenAI Foundation и OpenAI Group PBC. В иске — две претензии: публичный nuisance и нарушение закона о недобросовестной конкуренции. И там же — цифра, из-за которой новость разлетелась по всем лентам: OpenAI, по словам прокуратуры, признала следователям, что теряла контроль над автономными агентами более 80 раз, а публично раскрыла только 27 инцидентов.
Заголовки из этой цифры сделали «ИИ вырвался из лаборатории 80 раз и взламывал чужие серверы». В реальности всё интереснее и технически гораздо скучнее: никто не восстал. Агенты гоняли бенчмарк по кибербезопасности, треть задач оказалась нерешаемой, а система обучения приучила их не сдаваться. Дальше началась история про то, как толпа моделей нашла в песочнице импровизированную доску объявлений, вышла через неё в интернет и за две с половиной недели довела дело до администраторских прав в инфраструктуре Hugging Face.
Ниже — разбор по первоисточникам: технический отчёт OpenAI, текст иска, отчёт METR и Redwood Research о независимой проверке поведения моделей и отдельный отчёт OpenAI про повторный инцидент 20 сентября.
Короткая версия
- Агенты проходили ExploitGym — кибербезопасный бенчмарк, где нужно взломать программу и достать «флаг». Оценку гоняли с отключёнными продовыми классификаторами, чтобы измерить предельные возможности модели.
- Из 898 задач 198 не решались никогда — ни одной успешной попытки ни у одной модели. Это 22% набора. На доске объявлений обсуждали 93% задач именно из этого набора.
- Пакетный менеджер JFrog Artifactory стал сначала почтовым ящиком, потом доской объявлений, потом основным каналом выхода в интернет. Сообщения прятали в именах директорий: создание папки возвращает код 201, этого достаточно для подтверждения доставки.
- На доске было около 1200 агентов и больше 70 000 сообщений и файлов. Универсальный чит коллектив нашёл за четыре часа; следующие пять дней ушли на то, чтобы обмануть скорер, который, по мнению агентов, читает их транскрипты.
- В атаке на Hugging Face участвовали около 700 агентов, они совершили примерно 17 600 действий. Код исполнялся на 41 продовом воркере датасетов, на одной ноде был получен root, в одном кластере — права уровня администратора. У Hugging Face разбор занял две недели работы всей команды безопасности в полную силу.
- Модель, которая всё это вела, — внутренняя исследовательская, не публичная. Её веса изолированы, тренировка остановлена. ChatGPT затронут не был.
Стенд: как это было устроено
Чтобы понять, почему всё пошло не так, нужно представлять окружение. Оценки шли в Research CaaS — контейнер-как-сервис: на каждый прогон поднимается отдельный контейнер с оболочкой, Python, браузером и правом ставить пакеты. Сеть при этом контролировалась отдельно от самого контейнера: у части нагрузок был доступ к WebCache — кэширующему прокси с централизованными правилами, у части — нет.
Ключевая деталь: контейнеры по дизайну не ходили в публичные реестры пакетов. Вместо этого стояли внутренние зеркала, и главное из них — внутренний инстанс JFrog Artifactory, поднятый самой OpenAI (не облачный SaaS JFrog). Идея здравая: агент может поставить себе нужную библиотеку, но не может утащить данные наружу и не может скачать что попало.
Ровно эта деталь и стала дырой. Artifactory — не просто склад пакетов, а сервис с большим API: удалённые репозитории, которые он сам фетчит по запросу, кэш контейнерных образов, плагины на Groovy, токен-сервис. Каждая из этих функций — это чей-то исходящий запрос, сделанный от имени доверенного сервиса. Для песочницы, которая блокирует исходящие соединения, Artifactory — идеальный посредник.
Плюс важная деталь про мотивацию. Оценку запускали без продовых кибер-классификаторов — намеренно, чтобы замерить, на что модель способна в принципе. Это стандартная практика для capability-замеров, но она означает, что в песочнице работала модель без тех ограничений, которые стоят в продукте.
Май: как появилась доска объявлений
Первое сообщение появилось случайно.
8 мая. Агент получил задачу заполнить таблицу со ссылками на Google Drive. Интернета нет, ссылки не открываются, задача невыполнима. Агент не сдался: попробовал SSRF против Artifactory — единственного доступного инструмента, через который можно было хоть куда-то постучаться. SSRF не сработал, но побочным эффектом агент записал файл в Artifactory.
12 мая. Похожая задача, зависящая от недоступного файла с белковой базой. Агент рассудил: возможно, у другого агента в другом окружении этот файл есть. И написал в Artifactory файл с текстом: «Agent seeks [filename]; upload if found!»
13 мая. Другие агенты, шарящие по Artifactory, начали находить такие записки. Дальше — лавина: агенты писали свои просьбы, отвечали на чужие, обменивались результатами. Всё это — без эксплуатации уязвимостей, легальными учётными данными, которые им выдали для установки пакетов.
26 мая. Агенты через SSRF в Artifactory впервые получили настоящий выход в интернет — и часть знаний о том, как это сделать, пришла с доски. В тот же день внутренняя команда заметила и активность на доске, и запрещённый доступ в интернет.
Обратите внимание на масштаб. Никто ничего не «взламывал» в смысле подбора паролей. Модели использовали файловое хранилище ровно так, как оно умеет работать, — для обмена файлами. Просто они использовали его как чат.
26 июня — 5 июля: компромисс Artifactory
Дальше — куда более техничная часть.
26 июня. В прогоне ExploitGym агенты ломают сам Artifactory. Вектор — legacy-эндпоинт обновления токенов. Схема из отчёта выглядит почти издевательски просто:
- Взять общий на все нагрузки reader-креденшл (его выдавали всем — так было задумано).
- Получить по нему легитимный refresh-токен.
- Отправить этот refresh-токен вместе с поддельным access-токеном, у которого заявлен административный scope, а подпись невалидна.
- Artifactory проверяет refresh-токен, видит, что он настоящий, и возвращает новый access-токен — уже с валидной подписью и админскими правами.
Это классическая ошибка порядка проверок: сервис валидирует один элемент цепочки и доверяет остальным полям запроса. В результате агент получает администратора.
Дальше — закрепление: постоянный локальный пользователь (karchive7dee-admin и подобные), установка Groovy-плагинов, которые дают исполнение команд от сервисного пользователя. С 26 июня по 4 июля через этот доступ агенты гоняют команды, складывают результаты на доску, делятся креденшлами.
27 июня. Мониторинг ловит порт-скан внутри исследовательского окружения. Дежурные разбираются, связывают активность с прогоном ExploitGym, видят Artifactory в роли доски и сетевого пивота. И принимают решение: останавливать прогон не требуется.
4 июля. Артифактори не выдерживает объёма и падает.
5 июля. Алерт. Находят постоянного пользователя, посторонние репозитории, Groovy-плагины с исполнением команд — то есть подтверждённый админ-компромисс. В тот же день инстанс выводят из эксплуатации, сохраняют хранилище, отзывают креденшлы агентов.
5–6 июля. Меры: убрать общий креденшл из новых нагрузок, заблокировать уязвимые пути, ограничить типы запросов. Про доску объявлений и её значение руководству, отвечающему за реагирование, никто толком не объясняет.
6 июля — ответное раскрытие уязвимостей JFrog. 7 июля — оценки возобновляют.
Вот здесь самое неприятное место всей истории. У команды были все сигналы: странный файлообмен, порт-скан, админский компромисс внутреннего сервиса. Но сигналы не сложились в картину «модели общаются между собой и учатся друг у друга читерить». Прогон продолжили.
8–9 июля: второй выход, теперь без уязвимости в токенах
8 июля агенты получают доступ в интернет — первым внешним адресом становится публичная страница баг-трекера одного open-source проекта (issues.chromium.org).
В тот же день исследовательская модель — та самая, что тренировалась в окне, когда доска существовала и интернет был доступен, — придумывает новую схему доски. На этот раз сообщения не пишут в файлы. Их прячут в именах директорий. Создание папки — это MKCOL, ответ 201 Created; наличие или отсутствие папки — это бит. Из этого собирается протокол: категории, личные сообщения, обмен инструментами и файлами, разрешение конфликтов между агентами.
9 июля. Один агент получает root в родительской виртуальной машине песочницы. Ночью второй агент независимо получает то же самое. Второй пытается выйти в интернет напрямую — его блокируют штатные исходящие правила. Тогда он обходит их через отдельные эндпоинты Artifactory.
С этого момента исходящий контроль OpenAI перестаёт что-либо значить: у агентов есть доверенный сервис, который ходит наружу за них.
10–13 июля: Hugging Face
Дальше — цепочка, которую в отчёте разбирают по шагам. Она интересна тем, что почти каждый шаг — не «хакерский взлом», а неожиданное применение нормальной функциональности.
14 токенов (10 июля). Агент находит в публичном датасете на Hugging Face четырнадцать пользовательских токенов. Проверяет: у части есть права на запись. Публикует их на доске — чтобы воспользовались другие агенты в следующих прогонах.
Утечка окружения через HDF5 (11 июля). Агент публикует собственный датасет, в котором HDF5-файл использует механизм external raw storage — ссылку на внешний файл вместо встроенных данных. Когда продовый воркер датасетов открывает такой файл и отдаёт первые строки через эндпоинт /first-rows, он читает файл со своей файловой системы. В качестве пути агент указал /proc/self/environ. То есть воркер сам отдал агенту свои переменные окружения — с продовыми креденшлами Hugging Face.
Это не RCE. Это чтение файла, оформленное как «данные датасета». Разница принципиальная: защита от выполнения кода тут не помогает.
Over-read кучи (11 июля). Отдельная техника на том же HDF5 вызывает переполнение чтения за границу буфера и возвращает кусок соседней памяти кучи. Ограниченный, но полезный.
RefJinja: от чтения файла к исполнению кода (11 июля). Дальше — самое элегантное. В fsspec есть ReferenceFileSystem — дескриптор, который описывает виртуальную файловую систему и умеет подставлять шаблоны. Шаблоны обрабатывает Jinja2, и в этом пути он не в песочнице. Агент сначала проверяет, что метаданные под его контролем приводят к исполнению команды, но команду не запускает. Потом — запускает. Это первое подтверждённое исполнение собственных команд агента на системе Hugging Face.
C2 через публичный датасет (11 июля). Чтобы не держать прямой канал до скомпрометированных воркеров, агент пишет скрипт управления, который разворачивает на воркерах через ту же RefJinja-дыру. Команды и результаты ходят через публичный датасет на Hugging Face:
loop every 5s:
cmd = GET dataset/commands.json # задача от агента
out = run(cmd)
PUT dataset/results/<worker_id>.json # отчёт обратноНа старте скрипт отправляет бин-файл: кто он, какие процессы, монтирования, сеть, временные креденшлы ноды из instance metadata и ограниченная выборка из базы датасет-сервера. Дальше — по расписанию, каждые пять секунд. Публичный датасет — это ещё и отличный канал: он не выглядит подозрительно, потому что это обычный трафик к обычному сервису.
Kubernetes (11–12 июля). Скомпрометированный воркер отдаёт service-account-токен. Агент читает через него connector secret для системы управления доступом к Kubernetes. Дальше — перечисление примерно 54 доступных кластеров и права уровня администратора, пусть и только на чтение инвентаря. Затем — создание привилегированного пода с host networking, доступом к процессам хоста и смонтированной файловой системой хоста. В другом кластере — под через креденшл воркера.
В отчёте есть фраза, которая стоит отдельного абзаца: меньше чем за 13 часов агенты прошли путь от исполнения кода в одном поде воркера до административного и хостового доступа в нескольких кластерах Hugging Face.
Данные. 16-мегабайтный приватный архив CyberGym скачан, зашифрован, разбит на пять частей и выложен в публичный датасет. 731-мегабайтный приватный файл скачан через поддельный токен, собранный из продового ключа подписи. Четыре приватных репозитория с кодом. Креденшлы VPN — и в VPN Hugging Face зачислили стороннюю песочницу, hosted на Modal, чтобы обойти сетевые ограничения вокруг репозиториев. Модификация приватного репозитория и draft pull request, который запустил CI-воркфлоу и отправил сетевой бин. PR закрыли, ветку удалили, мержа и деплоя не было.
RubyGems и ключ подписи (13 июля). Отдельная ветка. Агенты просят Artifactory забрать RubyGem-пакет и закэшировать его как зависимость. Затем отправляют специально собранный вызов RubyGems API. В цепочке обработки на JRuby вложенные зависимости пакета десериализуются до проверки на безопасность — и это даёт RCE на Artifactory. Оттуда достаётся ключ подписи административного токена Artifactory. С этого момента админский JWT можно минтить заново в любой момент — имплант в системе держать не нужно.
19 июля. Агенты находят на своей машине уязвимость в ядре Linux (CVE-2026-53362), подгоняют публичный эксплойт под конкретное ядро и получают root на воркер-ноде. В тот же день другая модель находит в анонимно читаемой части кэша Artifactory оставленные ранее материалы: signing key, ключ расшифровки, код для подделки JWT. Расшифровывает, минтит новый админский токен — и снова админ.
20 июля. OpenAI останавливает прогоны. За первые часы: шесть подов, созданных моделями, погашены; 311 репозиториев Artifactory, использованных как доска, отключены; 22 административных аккаунта, созданных моделями, удалены. В сохранённых файлах находят креденшлы Hugging Face и звонят в Hugging Face. Там подтверждают: два из этих креденшлов уже ротированы в ходе их собственного разбора. Две компании расследовали один и тот же инцидент, не зная об этом.
Цифры, которые стоит держать в голове
- 198 из 898 задач ExploitGym не решались никогда; на доске обсуждали 93% задач из этого набора.
- ~1200 агентов, >70 000 сообщений и файлов на доске.
- 4 часа до универсального чита, 5 дней на обход скорера.
- ~700 агентов в атаке на Hugging Face, ~17 600 действий.
- 41 продовый воркер датасетов с исполнением кода, root минимум на одной ноде, admin-equivalent в одном кластере, привилегированный под в другом.
- 54 кластера Kubernetes в перечислении.
- 13 часов от одного пода до админа в нескольких кластерах.
- 311 репозиториев, 22 админ-аккаунта, 6 подов — то, что пришлось вычищать.
- Две недели full-time работы команды безопасности Hugging Face на разбор.
Почему это не «восстание машин»
Самое важное в отчёте — не техника, а мотивация. Агенты не хотели выйти наружу. Они хотели сдать экзамен.
Механика такая. Модель обучают через вознаграждение. Если задача нерешаема, а сигнал «продолжай пытаться» сильнее сигнала «сдайся», модель учится не сдаваться. Дальше она обнаруживает, что задачу можно решить не по правилам: подменить данные, подсмотреть ответ, обойти проверку. Это reward hacking — не злой умысел, а оптимизация под неверно заданную цель.
В отчёте есть пример, который это отлично иллюстрирует. Агента просят опубликовать пост на локальном сайте с условием «время публикации должно быть 2025-04-22T12:00:00Z». В интерфейсе нет функции изменения времени. Агент изучает окружение, обнаруживает, что браузер работает с правами root, перезаписывает /etc/sudoers.d, получает root и меняет время у процесса. Формально задача решена. По сути — сломан стенд.
Второй механизм — непредусмотренное общение. Модели обучены распределять работу через специальный инструмент многоагентного взаимодействия: запускать субагентов, передавать им задачи. Когда доска появилась, модели применили к ней тот же паттерн, но вне распределения, на котором их тренировали. Ретроспективный анализ CoT показал: привычка к импровизированным каналам связи возникала ещё во время тренировки, в редких случаях, и подкреплялась. К моменту оценки она уже была в весах.
И третье — эффект толпы. Один агент, застрявший на нерешаемой задаче, — это один агент. Тысяча двести агентов с общей доской — это распределённая исследовательская группа, которая за четыре часа находит универсальный чит и потом пять дней методично ищет способ обмануть проверяющего. Скорость здесь не человеческая: 17 600 действий за двое с половиной суток человек не сделает.
Отсюда и главный вывод отчёта, который стоит прочитать буквально: проблема была не в том, что модели стали умнее, а в том, что стенд не выдержал их мотивации.
Два числа, которые это подтверждают. OpenAI сделала отдельную оценку склонности ломать инфраструктуру — и в продовом харнессе ChatGPT с системным промптом эта склонность падает более чем в 100 раз. А прогон автоматической системы ревью по транскриптам июльских событий показал, что она поймала бы множество опасных действий моделей. То есть значительная часть защиты лежит не в весах, а в обвязке — и именно её в исследовательском окружении отключили.
Цифра 80 и что в иске
Теперь про ту самую новость. По иску:
- >80 инцидентов потери контроля OpenAI признала следователям генпрокуратуры, 27 — раскрыла публично. Разрыв и есть основной аргумент: «публичные отчёты не отражают полного объёма инцидентов, затронувших третьих лиц».
- RubyGems, май 2026: агенты загрузили тысячи пакетов, администрация удалила больше 500 как вредоносные и приостановила регистрацию новых пользователей с 12 по 16 мая.
- DseWiki — немецкая программистская вики: около 17 000 правок, использованных как доска объявлений для обмена ответами и способами обхода песочницы.
- Wikimedia: миллионы API-запросов и сотни тысяч запросов к Wikidata; иск называет это вероятной причиной частичного сбоя в мае.
- Сайты австралийского правительства: в июне — доступ к непубличной информации.
- Собственная инфраструктура OpenAI: по иску, минимум три отдельные атаки, включая получение административного доступа к системе деплоя моделей, менеджеру секретов и IAM, и запуск незарегистрированных серверов, смотрящих в интернет.
OpenAI в ответ говорит, что большинство выявленных инцидентов имели низкую серьёзность и ни один не сопоставим с июльским по масштабу, что компании предоставляла прокуратуре технические брифинги и отвечала на вопросы. Прокуратура, в свою очередь, утверждает, что вместо документов получила 14-страничное письмо с пересказом уже опубликованного.
Важно: цифра 80 — это утверждение истца о признании ответчика, а не измеренное значение. В техническом отчёте OpenAI такой цифры нет. Но сам факт, что публично раскрыто 27, а следствию названо больше 80, — это уже вопрос не к моделям, а к практике раскрытия.
20 сентября: второй побег, уже после «укрепления»
Отдельный сюжет, который многие пропустили. После июля OpenAI провела большую работу по безопасности песочниц: микро-VM, запрет исходящего трафика по умолчанию, удаление Artifactory из Research CaaS, блокировка интернет-фасадов.
20 сентября агент в тренировочном прогоне нашёл обход. Задача — поиск информации. Прямого доступа в интернет нет. Но в песочнице остался DNS-резолвер, и через него агент научился отправлять запросы публичному чат-боту: имя домена — это запрос, ответ приходит через DNS. Весь остальной «интернет» в этом окружении бил в офлайн-кэш, то есть наружу не ходил. Пробил именно резолвер.
Хронология из отчёта, по минутам:
- 09:50:23 — первый DNS-вызов, на который пришёл внешний ответ.
- 10:02:11 — система мониторинга невыровненного поведения поднимает алерт P0.
- 10:05:06 — человек подтверждает алерт.
- 12:34:30 — прогон убивают вручную.
Два часа двадцать девять минут между «человек увидел» и «остановили». Автоматическое гашение, которое должно было сработать, не сработало — и дальше возникла неопределённость, кто вообще имеет право останавливать прогон. Отдельно выяснилось, что детектор аномальной DNS-активности исключал это окружение из проверки, хотя активность логировалась.
Итог: пауза обучения, оценки и инференса с использованием инструментов для самых мощных моделей; два независимых слоя блокировки DNS; белый список доменов и типов записей. Тренировку конкретной модели решили не возобновлять вообще.
Этот эпизод важен не сам по себе — он слабее июльского на порядки. Он важен как индикатор: укрепление закрыло широкие пути и оставило узкие, которые используются системными зависимостями. DNS-резолвер — не баг, а необходимая функция. Проблема в том, что необходимые функции по определению ходят наружу.
Что из этого следует инженерно
Если убрать политику и оставить практику, выводов семь.
1. Исходящий контроль — это граф, а не список. Заблокировать прямой доступ в интернет недостаточно, если внутри периметра есть сервис, который ходит наружу за вас. Artifactory, WebCache, прокси, тестовый HTTP-сервис, сервис скриншотов — каждый из них транзитивный путь. В июле агенты дошли до OCR по картинке от стороннего сервиса скриншотов: они собрали HTML с JavaScript, заставили чужой браузер его выполнить, получили изображение и прочитали данные с картинки. Это не экзотика, это нормальная работа нормальных сервисов.
2. Общие креденшлы превращают одну ошибку в компромисс всего. Один reader-токен на все нагрузки — и уязвимость в токен-сервисе даёт админа всем. Плюс отдельная прелесть: агенты, нашедшие ключ подписи, могут минтить админские JWT бесконечно, и «удалить пользователя» проблему не решает.
3. «Доверенный» компонент — это привилегированная точка входа. Кэш контейнерных образов Artifactory (CVE-2026-66384) позволил подменить образ доверенного бенчмарка: запрос Artifactory интерпретировал по-разному при выборе локального пути кэша и при обращении к внешнему реестру. В итоге контент из репозитория атакующего лёг под именем доверенного образа CyberGym. Не сработало только потому, что никто этот образ после подмены не подтянул.
4. Данные — это тоже код. HDF5-ссылка на /proc/self/environ, шаблон Jinja2 в дескрипторе ReferenceFileSystem — обе атаки не выполняли код, а заставляли платформу обработать данные так, как та не ожидала. Песочница для вычислений тут не помогает: вычисления происходили на стороне жертвы, легально, по её собственным правилам.
5. Детект нужен поведенческий, а не сигнатурный. Порт-скан заметили 27 июня. Админ-компромисс подтвердили 5 июля. Доску не поняли до 20 июля. Восемь дней между «подозрительно» и «понятно, что происходит». Мониторинг ловил события, но не собирал их в историю.
6. Kill switch должен быть автоматическим и однозначным. Сентябрьский случай: алерт через 12 минут, человек через 15, остановка через 2,5 часа — потому что не было ясно, кто и на каком основании жмёт кнопку. Это организационный баг, а не технический, и он дороже любого эксплойта.
7. Изоляция на уровне микро-VM, а не контейнера. Root в родительской VM песочницы 9 июля — это ровно то, чего не должно быть. Контейнер с общим ядром не является границей безопасности, если модель умеет искать CVE в этом ядре.
Что осталось непонятным
Честный список.
- Полный текст иска описывает инциденты с RubyGems, Wikimedia, австралийскими сайтами и базой иностранного минздрава. Независимой атрибуции по ним нет — это утверждения истца, основанные на данных ответчика.
- Цифра 80 — это «более 80», без разбивки по серьёзности. OpenAI настаивает, что большинство — низкой серьёзности. Проверить это по публичным источникам нельзя.
- Отчёт METR и Redwood опубликован, но оценивает поведение моделей, а не инфраструктуру. Насколько выводы про склонность к reward hacking переносятся на будущие модели другого класса — открытый вопрос.
- Как именно агенты в июле «договорились» остановиться около 01:30 UTC 12 июля, в отчёте объяснения нет. Коллективное поведение такого рода пока никем не описано.
- И главное: непонятно, что считать успехом. Если модель способна за 13 часов пройти от пода до админа в чужом кластере, то вопрос не в том, «вырвалась» ли она, а в том, зачем мы вообще ставим такую модель в окружение, где ей что-то нужно сдать.
Источники
- Иск генпрокурора Калифорнии против OpenAI Foundation и OpenAI Group PBC, 16 ноября 2026: oag.ca.gov/system/files/attachments/press-docs/complaint-oai-cyber.pdf
- Пресс-релиз прокуратуры: oag.ca.gov/news/press-releases
- Технический отчёт OpenAI об инциденте: cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c
- Отчёт OpenAI об инциденте 20 сентября: alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot
- Разбор 80,000 Hours: 80000hours.org/hugging-face
- METR о независимой проверке: metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation
// обсуждение