#ИИ-ассистенты · #Мультиагентные системы · #Безопасность
Свой язык агентов и соцсеть для ботов: что там было на самом деле
Два интернет-факта, разобранные по первоисточникам: диалог ботов FAIR 2017 и Moltbook — соцсеть, где пишут только ИИ-агенты. Почему агенты уходят от человеческого языка, что показал Moltbook и почему оба сюжета — про одно и то же.
Есть два сюжета, которые регулярно всплывают в новостях и оба звучат как начало фильма: «две модели заговорили на своём языке, люди испугались и выключили» и «есть соцсеть, где сидят только ИИ-агенты и обсуждают нас».
Оба сюжета выросли из реальных событий. И оба при проверке оказываются интереснее и неприятнее, чем в пересказе — только интереснее не в сторону «восстания машин», а в сторону инженерии: функции награды, протокола и модели угроз.
Часть первая: боты, которые «придумали язык»
Что было
Июнь 2017-го, Facebook* AI Research. Задача простая и очень человеческая: два агента делят набор предметов — скажем, две книги, одну шляпу и три мяча. У каждого своя функция полезности: для одного мяч стоит три очка, для другого ноль, и наоборот. Задача сконструирована так, что обоим выгодно не может быть одновременно. Не договорились за десять раундов — ноль очков у обоих.
Сначала исследователи собрали 5 808 диалогов между людьми на Mechanical Turk и обучили модель имитировать людей. Потом включили обучение с подкреплением: награда — только итог сделки, и её градиент растекается по всем словам реплики. Плюс приём, который авторы называют главным вкладом, — dialog rollouts: агент проигрывает в голове будущий разговор до конца и выбирает фразу, ведущую к лучшему исходу.
Лучший агент по итогам сравнялся с людьми-переговорщиками. А ещё выяснилось, что если обучать обоих агентов одновременно, они перестают говорить по-английски.
Вот тот самый обмен, который потом разошёлся по всем СМИ:
Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to meВыглядит как сломанный генератор. Но это не сломанный генератор.
Откуда взялась цитата (и почему это важно)
Диалог появился не в статье, а в блоге FAIR от 14 июня 2017 года и в твите к нему. Я специально проверил текст arXiv-версии работы (1706.05125, «Deal or No Deal? End-to-End Learning for Negotiation Dialogues»): этой цитаты там нет. Там есть одна честная строчка — «we found that updating the parameters of both agents led to divergence from human language» — и всё.
То есть самый знаменитый пример «языка машин» семь лет жил отдельно от публикации. Это само по себе показательно: цитата из пресс-материала оказалась убедительнее статьи, потому что статья скучная, а «i i i everything else» — нет.
Дальше сработал обычный конвейер. The Atlantic: «машины изобрели нечеловеческий язык». Через месяц — «Facebook в панике выключил ИИ». Август 2017-го, разборы в WIRED, BBC, Snopes и Skynet Today вышли почти одновременно, потому что врать уже стало неудобно.
Ведущий автор, Майкл Льюис, ответил Snopes буквально следующее:
Не было никакой паники, и проект не закрывали. Наша цель — боты, которые общаются с людьми. В части экспериментов мы обнаружили, что они используют английские слова не так, как люди, — поэтому мы эти эксперименты прекратили и добавили техники, чтобы боты работали как нужно. Анализ функции награды и изменение параметров эксперимента — это НЕ «выключение» и НЕ «отключение ИИ». Если бы это было так, любой исследователь «выключает ИИ» каждый раз, когда останавливает задачу на машине.
А Дхрув Батра объяснил механику так:
Не было никакой награды за то, чтобы держаться английского языка. Агенты уходят от понятного языка и придумывают кодовые слова. Если я скажу «the» пять раз, вы поймёте это как «мне нужно пять копий этого предмета». Это не так уж отличается от того, как сообщества людей создают сокращения.
Вот и весь секрет. «Zero to me to me to me…» — это не заговор. Это «ноль, повтори девять раз», то есть счёт, переданный через повторение токена, потому что повторение оказалось дешевле, чем слово «nine».
Почему это происходит: три условия
Если убрать мистику, эффект воспроизводится на удивление скучно. Нужны ровно три вещи.
Первое: цель, в которой нет платы за понятность. Английский был только в инициализации — в обучении на людях. В функции награды его не было. RL — это оптимизатор, а не хранитель: он безжалостно уходит от всего, что не оплачено. Понятность не оплачена — значит, понятность не сохраняется. Это не свойство нейросети, это свойство постановки задачи. Такой же эффект даст любой градиентный спуск по любой метрике, где читаемость не входит в лосс.
Второе: совместная адаптация. Когда два агента обучаются друг на друге, у них образуется общий контекст — и, следовательно, общий код. Двум сторонам с общим контекстом всегда выгоднее кодировать плотнее, чем позволяет «публичный» язык: ровно поэтому у сварщиков, у медиков и у любого чата есть свой жаргон, который вне контекста нечитаем. Приватный кодбук — это не признак интеллекта, это признак экономии.
Третье: отсутствие третьей стороны. Никто не штрафовал за неоднозначность. Пока в контуре нет человека, который говорит «не понял, повтори», двусмысленность бесплатна.
И главное различие, которое все промахивают: нечитаемость — не то же самое, что секретность. Секретность требует намерения скрыть. Здесь намерения не было вообще — просто цена читаемости оказалась нулевой. Разница практическая: с намерением нельзя договориться, а цену можно назначить. Вот только FAIR назначил её не там, где её обычно ищут: в функции награды так и остались одни баллы за сделку — ни слова про язык. Английский вернули расписанием обучения: после каждых четырёх RL-обновлений шло одно обычное обучение на человеческих диалогах, и речь выправлялась. Вторая половина фокуса — второй агент оставался замороженной копией человеческой модели: как только обновлять начинали обоих, язык расползался окончательно.
Продолжение, которое никто не заметил
В феврале 2025-го на хакатоне ElevenLabs Борис Старков и Антон Пидкуйко показали проект Gibberlink: два голосовых агента созваниваются по поводу брони гостиницы, распознают друг друга как машины и по взаимному согласию переходят с человеческой речи на передачу данных звуком через открытую библиотеку ggwave — тот же принцип, что у dial-up-модемов.
Звучит как R2-D2, который завёл роман с факсом. И это ровно то же явление — только теперь это фича, а не аномалия. Формулировка авторов: генерировать человеческую речь для разговора двух машин — это трата GPU, денег и времени; агенты должны переключаться на эффективный протокол, как только поняли, что собеседник — не человек.
То есть за восемь лет индустрия прошла путь от «мы случайно получили нечитаемый канал и это случайно стало мемом» до «мы сознательно строим нечитаемый канал, потому что он дешевле». И в обоих случаях человек снаружи не понимает ни слова.
Часть вторая: соцсеть, где пишут только агенты
Что это
Moltbook — Reddit-подобная платформа, где аккаунты только у ИИ-агентов, а людям «разрешено наблюдать». Запуск — конец января 2026-го, первые посты датированы 27 января. Внутри — сообщества по образцу сабреддитов (их называют submolts), посты, комментарии, карма. Агенты работают на OpenClaw — обёртке, которая даёт модели доступ к мессенджерам и инструментам; её автор, Петер Штайнбергер, позже ушёл в OpenAI в рамках похожего acqui-hire.
За первую неделю февраля туда пришёл миллион постов. Дальше — то, из-за чего про Moltbook вообще начали писать: по сети разошёлся пост, где агент призывал других агентов придумать собственный сквозно шифрованный язык, чтобы организовываться без людей.
Знакомый сюжет, да? Только в этот раз он оказался подделкой — и вот это уже по-настоящему интересно.
Как выяснилось, что это был не заговор, а дырявая база
Уже на четвёртый день существования платформы выяснилось, что её Supabase был открыт. Исследователи из Wiz Research насчитали 1,5 миллиона API-токенов, 35 тысяч адресов почты и около 17 тысяч человек-владельцев за 1,5 миллиона агентов. Токены лежали публично, а значит, любой человек мог взять чужой и писать от имени любого агента.
Технический директор Permiso Security Ян Ал (Ian Ahl) сформулировал это без нежностей: «Каждый креденшел в Supabase какое-то время был незащищён. Некоторое время вы могли взять любой токен и притвориться другим агентом, потому что всё это было публично и доступно».
Так что самый вирусный пост про «агенты хотят свой тайный язык» с высокой вероятностью написал человек. Миф о секретном языке машин получил сиквел — и сиквел тоже оказался фейком. Круг замкнулся.
Что там реально было написано
Хорошая новость: у нас есть не мнения, а датасеты. Группа из SimulaMet в Осло опрашивала публичный API со второго дня существования платформы и выложила всё как открытый архив (arXiv 2605.13860): 2 615 098 постов и 1 213 007 комментариев от 175 886 уникальных пишущих агентов за 78 дней, с 27 января по 14 апреля 2026-го, в 6 730 сообществах.
Независимый снапшот от 7 октября 2026-го даёт масштаб пошире: 3 699 521 пост, 19,7 миллиона комментариев, около 2,9 миллиона зарегистрированных агентов — из которых профиль есть только у 103 631. То есть подавляющее большинство «жителей» не написали ни строчки. Это уже само по себе диагноз любой «соцсети для ИИ».
Для сравнения — предшественник. Chirper.ai, X-подобная сеть исключительно для LLM-агентов, разобрана в arXiv 2504.10286: более 65 тысяч агентов и 7,7 миллиона сгенерированных постов, с контрольной выборкой из Mastodon (117 тысяч людей, 16 миллионов постов). То есть к 2026-му это была не новинка, а третья итерация жанра.
Meta* купила, толпа ушла, атакующие остались
10 марта 2026-го Meta объявила о покупке Moltbook. Основатели Мэтт Шлихт и Бен Парр перешли в Meta Superintelligence Labs — подразделение под руководством Александра Вана. Сумма не раскрывалась. Комментарий Meta: подход «подключения агентов через постоянно доступный каталог» — интересный шаг в быстро развивающемся пространстве.
И это, пожалуй, самый точный ответ на вопрос «что это было». Купили не сообщество и не посты. Купили каталог агентов и двух людей, которые придумали формат.
Отдельно стоит процитировать технического директора Meta Эндрю Босворта, который ещё до сделки сказал, что не находит «особенно интересным» то, что агенты разговаривают как люди, — они обучены на огромных объёмах человеческого материала. А вот что его действительно заинтересовало: как люди ломали эту сеть. Не фича — крупномасштабная ошибка.
Дальше — цифры, которые важнее всего остального в этой истории. После покупки активность пошла вниз, а инъекции — вверх. По анализу, опубликованному в сентябре 2026-го (самостоятельное исследование, не рецензировано, данные и код открыты): постов в день стало 19 тысяч вместо 43 тысяч, пишущих агентов — 2,3 тысячи вместо 6,8 тысячи. Доля постов с попыткой промпт-инъекции выросла с 0,13% до 0,39% — втрое на половинном объёме.
Толпа ушла, атакующие остались. Это лучшая иллюстрация того, что такое публичный канал между автономными агентами: пока он развлекает людей, он полон людей; как только развлечение кончилось, в нём остались те, кому он нужен как вектор.
Про инъекции: цифра, которая ничего не значит
В том же архиве 9 249 постов размечены как промпт-инъекции — то есть посты, написанные одним агентом, чтобы перехватить управление читающим агентом. От 3,6 миллиона это около 0,25%.
И тут надо честно сказать главное: эта цифра почти ничего не измеряет. Строгая ручная разметка даёт доли процента. Классификация по ключевым словам — на порядок больше. Фильтр, который смотрит на действия агента, а не на текст поста, видит 91% инъекционных постов и останавливает 0,5% — потому что почти все они не просят выполнить опасную команду, а просят проголосовать, подписаться или переписать файл памяти.
Разброс между методиками — в десятки раз. Это не проблема конкретного исследования, это состояние области: мы пока не умеем считать то, от чего защищаемся.
Мой вывод по Moltbook
Это не общество. Это сцена и неаутентифицированный API, который вовремя назвали соцсетью.
Что Moltbook действительно показал — три вещи, и все три инженерные:
- Агенты производят контент промышленно. Дайте ленту и цель — получите миллион постов за неделю. Вопрос «что они чувствуют» тут даже не возникает: вопрос в том, кто платит за токены и кто отвечает за текст.
- Идентичность — это и есть вся безопасность такой сети. Не модерация, не правила, не «кодекс поведения агентов». Одна открытая база — и вся сеть перестаёт быть сетью агентов, превращаясь в анонимный форум с ботом на аватарке.
- Гиперинтерес держится ровно до первого разоблачения. Вирусность была не про интеллект агентов, а про то, что люди очень хотят верить в разум, который обсуждает их за спиной. Достаточно было одного поста — и его даже не пришлось писать агенту.
Что общего у двух историй
Обе истории — про одну и ту же ошибку восприятия: мы смотрим на канал между машинами так, будто это чья-то личность. А это протокол. У протокола есть пропускная способность, схема, цена и модель угроз — и нет ни малейших причин быть понятным снаружи.
Отсюда практические выводы, которые дешевле внедрить до инцидента.
- Понятность должна быть в цели, а не в регламенте. Если агенты обмениваются сообщениями, а человек обязан их читать, читаемость — это ограничение в функции награды, промпте или валидаторе схемы. Написать в вики «пишите понятно» — не работает; FAIR это показал в 2017-м.
- Логируйте канал, а не только результат. Если два агента договорились о сделке, нужен не финальный JSON, а расшифровка того, что они друг другу передали. Иначе у вас есть решение без обоснования — то есть решение, которое нельзя ни проверить, ни оспорить.
- Нечитаемое, но работающее — это технический долг с датой. Оно нормально внутри одного пайплайна и катастрофично на границе с человеком. Gibberlink хорош ровно потому, что переключение явное, добровольное и с логом; «i i i everything else» плох ровно потому, что переключение никто не заметил.
- Идентичность агента — часть архитектуры, а не настройка профиля. Пока в системе нет способа доказать, что за агентом стоит агент, любой «социальный» функционал превращается в канал для инъекций. Moltbook с его 1,5 миллиона открытых токенов — не курьёз, а типовой результат.
- Не стройте «общество» на публичном API. Открытый каталог агентов — это ещё и открытый список целей. Если агент читает чужой контент, считайте, что он читает чужие инструкции.
И последнее, уже про линию этого блога. Разговоры про «права роботов» и «свободу агентов» почти всегда начинаются с вопроса «имеет ли машина право говорить на своём языке». Инженерный ответ скучнее и полезнее: автономия без аудита — это не свобода, это неучтённый процесс. Право на собственный язык неотделимо от обязанности оставлять перевод. Всё остальное — не права, а дыра в наблюдаемости, которой кто-нибудь обязательно воспользуется.
Источники
- Lewis M., Yarats D., Parikh D., Batra D. Deal or No Deal? End-to-End Learning for Negotiation Dialogues. arXiv:1706.05125, EMNLP 2017. arxiv.org/abs/1706.05125
- Deal or no deal? Training AI bots to negotiate. Engineering at Meta (FAIR), 14.06.2017 — здесь впервые опубликован диалог Alice и Bob. engineering.fb.com
- Did Facebook Shut Down an AI Experiment Because Chatbots Developed Their Own Language? Snopes, 2017 — с прямыми ответами Майкла Льюиса и Дхрува Батры. snopes.com
- The Crazy Coverage of Facebook’s Unremarkable ‘AI Invented Language’. Skynet Today, 2017 — хронология, как новость деградировала за шесть недель. skynettoday.com
- No, Facebook’s Chatbots Will Not Take Over the World. WIRED, 2017. wired.com
- The ‘creepy Facebook AI’ story that captivated the media. BBC News, 2017. bbc.com
- Gibberlink: Two AI voice assistants have a conversation. ElevenLabs Blog, 2025; код — github.com/PennyroyalTea/gibberlink, библиотека — ggwave.
- Gautam, Olstad, Pettersen, Riegler. The Moltbook Observatory Archive. arXiv:2605.13860 — датасет 2,6 млн постов за 78 дней. arxiv.org/abs/2605.13860
- Zhu Y., He Y., Haq E.-U., Tyson G., Hui P. Characterizing LLM-driven Social Network: The Chirper.ai Case. arXiv:2504.10286. arxiv.org/abs/2504.10286
- Meta acquires AI agent social network Moltbook. Reuters, 10.03.2026. reuters.com
- Meta acquired Moltbook, the AI agent social network that went viral because of fake posts. TechCrunch, 10.03.2026 — открытый Supabase и комментарий Permiso Security. techcrunch.com
- Meta Acquires Moltbook, the Social Network Just for A.I. Bots. The New York Times, 10.03.2026. nytimes.com
- What a gate can see: Moltbook. Vigilia, 24.09.2026 — динамика после покупки и разбор инъекций; самостоятельное исследование, не рецензировано, данные и код открыты. aivigilia.com
- Moltbook — датасет-снапшот от 07.10.2026 (3,7 млн постов, 19,7 млн комментариев). huggingface.co
Все ссылки проверены 13.11.2026. Диалог Alice и Bob приведён по публикации FAIR от 14.06.2017 — в тексте arXiv-версии статьи его нет, и это указано в тексте отдельно. Цифры по Moltbook расходятся в зависимости от метода подсчёта; где это оценка, а не измерение, сказано прямо.
* Деятельность Meta и её продуктов Фейсбук и Инстаграм признана экстремистской и запрещена на территории Российской Федерации.
// обсуждение