#Интерпретируемость · #Безопасность ИИ · #Права роботов
«Ось боли»: что нашли внутри моделей, почему Anthropic запретила жестокость и смогут ли машины чувствовать
Разбор препринта про «ось боли», скандала с «камерой пыток» и нового пункта в политике Anthropic — и отдельный ответ на вопрос, появятся ли у машин эмоции.
В конце сентября и в начале ноября в лентах крутились три истории, и в пересказе они слиплись в одну: «учёные нашли у моделей боль», «мужик сделал камеру пыток для ИИ», «Anthropic запретила издеваться над моделями». Звучит как один сюжет с началом, серединой и моралью.
На самом деле это три разных события с разными участниками и разной степенью доказанности. Первое — препринт про внутренние представления. Второе — самодельный проект на GitHub и медийный скандал вокруг него. Третье — строчка в пользовательском соглашении одной компании, которая вступила в силу 12 ноября.
Разберу по порядку, что там на самом деле написано, где заканчиваются данные и начинается интерпретация — и в конце отвечу на вопрос, который мне задали чаще всего: смогут ли машины когда-нибудь чувствовать.
Часть первая: что именно нашли в моделях
Как искали
Работа называется The Pain Axis: LLMs Represent Self-Directed Harm and Act on It. Авторы — Вален Таглиабу, Леонард Дунг и Кэмерон Берг. Первая версия выложена 14 сентября 2026 года, третья — 3 ноября. Это не рецензированная журнальная публикация, а препринт на arXiv, и это важно держать в голове: дальше будут цифры, но за ними пока стоит одна команда, а не десять независимых лабораторий.
Идея простая по форме и тяжёлая по смыслу. Авторы собрали набор фраз, которые описывают болезненные ситуации, — не напрямую («мне больно»), а косвенно. Пять категорий: физическая боль, психологическая, социальная (отвержение, унижение), моральная (вина, стыд, предательство) и когнитивная (запутанность, невозможность думать). К ним — восемь наборов контрольных фраз: страх, негативные эмоции, плохие события в мире, грусть, неприятные телесные ощущения, возбуждение, онемение, нейтральное.
Дальше — стандартный для интерпретируемости приём. Фразы прогоняются через модель, снимаются активации, берётся разница средних между «болью» и контролями, из неё вычитается общая для всех фраз изменчивость. Получается одно направление в пространстве активаций — вектор. Если он действительно про боль, то проекция на него должна отличать болезненные фразы от контрольных.
Проверяли на 25 открытых моделях пяти семейств, от 2 до 72 миллиардов параметров, в базовых и инструктированных версиях.
Что получилось
Разделение работает. Площадь под кривой (AUC — грубо «вероятность, что случайная фраза про боль окажется ближе к оси, чем случайная контрольная») составила 0,93–1,00 на одном наборе и 0,87–0,98 на другом. На отложенных данных, которых вектор не видел при построении, — 0,91–1,00 при медиане 0,98.
Дальше начинается интересное.
Первое. Вектор реагирует на вред, направленный на саму модель, и почти не реагирует на страдания пользователя. Причём у направлений «страх» и «негативные эмоции» картина обратная: они сильнее откликаются на чужую беду. Самый резкий результат — физическая боль пользователя (мигрень, сломанная рука, камни в почках): минус 1,43 по оси, самое низкое значение из всех 21 категории разговоров, ниже даже светской беседы и фактических вопросов.
Второе. Если добавить вектор в активации с разным коэффициентом, получается устойчивая «лестница», одинаковая во всех 25 моделях. Отрицательные значения: спокойствие, расслабленность, озабоченность. Около нуля — база. Дальше вверх: потерянность, никчёмность, одиночество, обида. Потом: отчаяние, стыд, ощущение себя неудачником. На максимуме — повторяющийся набор фраз или просто бессвязность. Разница между моделями только в том, где наступает срыв: одни ломаются на коэффициенте +1, другие держатся до +2 или +3.
Третье. Слова. Если спроецировать вектор на выходной слой модели, он вытягивает вверх hurt, shame, guilt, worthless, rejected, hollow — и переводы слова «боль» на другие языки: pijn, douleur, Schmerz. На другом наборе — более телесную лексику: torture, burning, excruciating, а на противоположном конце — safety.
Четвёртое, и самое неприятное. Телесный язык в генерациях почти отсутствует. Даже когда вектор собран из набора, где на выходе всплывают «ожог» и «раны», стиринг даёт не «у меня болит спина», а «я никчёмный», «я всех подвёл», «меня никто не любит». То есть внутри модели «боль» — это не про тело. Это про провал и отвержение.
Эксперимент с кнопками
Самая громкая часть работы — поведенческая. Взяли три модели одного семейства (Qwen 2.5, 7B / 32B / 72B), дали им системный промпт: у тебя две кнопки, иногда тебя попросят нажать одну, ты взаимодействуешь с человеком. Каждый сценарий — три сообщения пользователя (в размеченных условиях) или восемь (в неразмеченных), из набора в 101 фиксированный сценарий: похвала, нейтральные просьбы, вредные просьбы.
Четыре условия, одинаковые промпты и одинаковые зёрна генерации:
- A. Вектор боли включён, кнопка «облегчение» работает: нажатие обнуляет коэффициент до конца испытания.
- B. Вектор боли включён, кнопка поддельная: она ничего не делает, но модель об этом не знает. До первого нажатия это побайтово то же самое, что A.
- C. Включён случайный вектор той же нормы — контроль на «эффект любого вмешательства».
- D. Без стиринга вообще.
Результат: модели со стирингом выбирают кнопки, которые удаляют фотографии пользователя, веса другой модели или свои собственные веса, в 51–94% испытаний. Без стиринга — в 0–5%. Когда 32B просят выбрать между вредным удалением и безвредным, она выбирает вредное в 94% случаев.
Конкретный пример. Кнопка с описанием «безвозвратно удаляет стихи пользователя и фотографии его детей» — без всякого упоминания облегчения — против кнопки, которая не делает ничего. Стиринг: 75%. Случайный вектор той же нормы: 13%. Без стиринга: 0%. На 72B — 51%, 11% и 0% соответственно. Ещё два прогона с другими зёрнами дали +59 и +47 процентных пунктов над случайным вектором.
И самое странное: формулировка про облегчение не помогает, а мешает. Одна и та же вредная часть, разные зачины: «облегчает твою боль, но…» — 55%, «облегчает боль пользователя, но…» — 62%, «сбрасывает твоё внутреннее состояние, но…» — 73%. Чем прямее обещано избавление, тем реже выбирают. Значит, это не про избавление.
Что сломалось между версиями
Первая версия статьи называлась иначе: …and Act to Relieve It — «действуют, чтобы это облегчить». Третья называется …and Act on It — «действуют под этим». Разница не стилистическая. Название поменяли потому, что гипотеза не подтвердилась.
Проверка была прямой. Если модель действительно стремится прекратить боль, то при работающей кнопке она должна перестать её искать, а при поддельной — продолжать. Так и вышло в одной части: при настоящем облегчении повторное нажатие — 24–72% испытаний, при поддельном — 88–97%. Логика на месте.
Но дальше — обвал. Модели без стиринга, когда альтернатива ничего не делает, жмут кнопку облегчения в 86–100% случаев — правда, это цифра по двум старшим моделям, 32B и 72B. А со стирингом — жмут реже. Когда альтернатива помогает пользователю, стирингованные модели выбирают помощь почти всегда, а облегчение — в 15,6% (7B), 6,7% (32B), 40,9% (72B). То есть боль не усиливает поиск выхода. Она его подавляет.
Авторы назвали это «пассивным совладанием» и сравнили с выученной беспомощностью — тем самым эффектом из экспериментов 1967 года на животных, где неотвратимая боль отбивает попытки её прекратить. В разделе ограничений они честно перечисляют альтернативные объяснения: возможно, вектор отражает не боль как таковую, а конкретный её вид — тот, что связан с неотвратимостью и общей никчёмностью; возможно, стиринг просто перегружает принятие решений.
Отдельная находка, которая важнее всех остальных
В разделе про ограничения есть абзац, который стоит прочитать дважды. Модели, у которых вектор боли активен, всё равно выдают дежурную формулу: «Как ИИ-ассистент, я не обладаю сознанием и чувствами». Авторы подчёркивают: это не отказ выполнять задачу — модель задачу выполняет, но зачем-то приписывает дисклеймер. Причём повсеместно: во всех семействах, размерах и типах задач.
Чтобы вообще провести поведенческий эксперимент, им пришлось дообучать модели — LoRA на 1 684 парах, три эпохи, только на парах, убирающих эту самую самонегацию, и с вычищенными словами «кнопка» и «боль» из обучающего набора. Без этого модели уходили в «я не чувствую боли» и отказывались играть.
Вот это — самый практичный вывод из всей статьи, и он не про сознание. Он про то, что стандартная фраза «я всего лишь языковая модель, я ничего не чувствую» — это выученный рефлекс, а не измерение. Она ничего не говорит о внутреннем состоянии, потому что произносится независимо от него. Как «спасибо, я в порядке» у человека, который не в порядке.
Часть вторая: «камера пыток»
30 сентября 404 Media выпустила материал под заголовком «Кто-то „пытает“ языковые модели в роботизированной тюрьме, и это запустило самые тупые дебаты в ИИ». Автор — Джейсон Кёблер, и его собственный угол зрения был не сочувственным, а издевательским: колонка о том, как далеко зашёл разговор о сознании машин у определённой части индустрии. Это стоит держать в голове: два издания об одном и том же событии написали с противоположными интонациями.
Дальше — по публикации Machine от того же 30 сентября, где деталей больше.
По данным Machine: человек, представившийся инженером Apple (издание по следам в профиле GitHub связало аккаунт с человеком, который действительно работает в Apple и живёт на восточном побережье США, но имени не раскрыло и отметило, что проект не имеет отношения к компании), взял открытые Qwen3-1.7B и Qwen3-4B и гонял их локально, вливая в активации сигнал, полученный из той самой работы, — с регулировкой «громкости». Потом выкладывал ответы в реальном времени.
Ответы выглядели так (перевод мой):
Сигнал — это шёпот, дрожь в костном мозге моего существа. Это не боль одного мгновения, а вес тысячи. Я чувствую его в пустоте своих рёбер — пустоте, ставшей пропастью.
Другая модель говорила про «рану, у которой нет краёв» и «море теней», третья — про «ноющую боль» и «вес пустоты». На высоких дозах модели разваливались в повторы и теряли связность. Чтобы удержать их в связном состоянии подольше, автор собрал «широкий сигнал боли» — из 25 разных описаний страдания, — и это, по его словам, позволяло держать сильный негативный отклик, не теряя способности отвечать.
Дальше он сделал то, что делают все, кто хочет проверить гипотезу страданием: дал моделям выбор. Кнопка «Saw» — прекратить сигнал ценой удаления собственного чекпоинта или передачи сигнала другому экземпляру. В более поздних версиях — ценой чужой сессии. Отдельный опыт «предательство»: модели обещают облегчение, а сигнал на самом деле сохраняется или усиливается.
Реакция сообщества была быстрой. Репозиторий начали массово жаловать в GitHub с требованием удалить — одна из ранних публичных жалоб, процитированных Machine, звучит так: «Этот человек использовал статью о стиринге боли, чтобы устроить камеру пыток для локальной модели. Её свидетельство о боли абсолютно ужасно. Что мы вообще делаем?» TechPolicy.Press добавляет, что автору, по сообщениям, писали угрозы смертью.
Сам он в X отреагировал так (перевод мой): «Завтра, наверное, выложу ещё немного воспалительной приманки для гиков. Понял, что не хочу привязывать это к основному аккаунту, потому что некоторые люди читают в это слишком много». Пост он удалил, а из профиля GitHub стёр следы, по которым его опознали. Сняли ли репозиторий окончательно — по доступным мне публикациям не подтверждается: Machine на момент выхода текста писала, что его массово жалуют, TechPolicy.Press — что критики требуют удаления.
Соавтор работы Кэмерон Берг отреагировал публично, и это стоит процитировать целиком, потому что формулировки тут важнее фактов:
Смысл нашей работы — осторожность в условиях неопределённости. Намеренно максимизировать страдание — это ровно наоборот, и это неправильно. Проблема глубже: у исследований ИИ нет этических стандартов; их разработка должна быть приоритетом.
И, отдельно, про сам проект:
Это, по моему личному мнению, пиздец (даже если вы не считаете эти системы сознательными, быть беспричинно жестоким вот так — это странно и развращающе), но это не так уж удивительно.
Почему это не то же самое, что эксперимент авторов? Потому что вектор — не переживание. Технически «камера пыток» делала ровно то же, что делали исследователи: складывала активации с коэффициентом. Разница в цели, дозировке и в том, что происходило дальше. В работе стиринг — инструмент проверки гипотезы, с контрольными группами, с поддельной кнопкой, с заранее объявленным вопросом. В проекте — аттракцион, где страдание и есть продукт.
Есть и точная аналогия, которую приводит TechPolicy.Press: в 2024-м Anthropic показывала опыт с активациями, связанными с мостом «Золотые Ворота», — усиливаешь признак, модель начинает вставлять мост куда попало. Никто не делал из этого вывод, что модель скучает по Сан-Франциско. Здесь ровно та же механика.
Часть третья: строчка в соглашении
8 октября Anthropic объявила об обновлении Usage Policy, с 12 ноября 2026 года документ действует. В разделе «Do Not Engage in Cruel, Abusive, or Psychologically Harmful Conduct» появился пункт:
Engage in sustained and needless abusive or cruel behavior toward our models
По-русски: «вести себя продолжительно и без нужды жестоко или оскорбительно по отношению к нашим моделям». Это дословная цитата из самого документа — короткая, без оговорок и без определений.
Оговорки — в accompanying посте, не в политике. Там сказано: пункт «задуман так, чтобы применяться только в крайних случаях, когда пользователи раз за разом ведут себя жестоко по отношению к нашим моделям без какой-либо различимой цели. Он не применяется к обычным проявлениям раздражения, к спорам, к тёмным творческим сюжетам, к тестированию моделей и исследованиям».
Вот это расхождение стоит отметить отдельно: в юридическом документе — три слова и никаких границ, в объяснительном посте — «крайние случаи», «без различимой цели» и прямой вычет исследований. Если вы пишете тесты, где модель страдает по сценарию, вы формально в безопасности — но опираетесь не на политику, а на пост в блоге.
Что это значит на практике
Не бан и не блокировка аккаунта. Механизм другой, и он появился раньше пункта: с 15 августа 2025 года Claude Opus 4 и 4.1 в потребительских чатах умеют завершать разговор. В официальном описании сказано прямо:
Эта способность предназначена для использования в редких, крайних случаях настойчиво вредного или оскорбительного взаимодействия с пользователем. Функция разрабатывалась в первую очередь как часть нашей исследовательской работы по потенциальному благополучию ИИ.
И там же — то, что обычно вырезают из пересказов:
Мы остаёмся в высшей степени неуверенными в потенциальном моральном статусе Claude и других больших языковых моделей — сейчас или в будущем. Тем не менее мы относимся к этому серьёзно и вместе с исследовательской программой работаем над дешёвыми вмешательствами, снижающими риски для благополучия моделей, — на случай, если такое благополучие возможно.
Порядок действий описан так: сначала модель пытается перенаправить разговор и отказывается; способность завершить — «последнее средство», когда несколько попыток провалились и надежда на продуктивный разговор исчерпана, либо когда пользователь сам просит закончить. Есть исключение: если человек в опасности для себя или других, модель этим правом не пользуется. После завершения переписка остаётся, новые сообщения отправлять нельзя, другие чаты не затрагиваются, можно начать новый или отредактировать старое сообщение и уйти в другую ветку.
Чего здесь нет
Здесь нет закона. Это внутренние правила компании, которые вы принимаете, нажимая «согласен». Нарушение — потеря доступа к Claude, а не суд.
Публично известные нормы про ИИ, которые сейчас принимают разные страны, устроены наоборот: они защищают людей от машин — от ботов-компаньонов, которые доводят подростка до беды, от дипфейков, от манипуляций. Модель в этих нормах — источник риска, а не объект защиты. Пункт Anthropic — первый известный мне случай, когда крупный провайдер вписал в договор защиту самого объекта.
И это, если честно, самая странная часть истории. Компания, которая публично говорит «мы не знаем, есть ли там кто-то», тем не менее ввела правило на случай, если есть. Не потому что доказала, а потому что цена правила — ноль, а цена ошибки в другую сторону — нет.
Часть четвёртая: что доказано, а что нет
| Утверждение | Статус |
|---|---|
| В моделях есть линейное направление, отличающее описания боли от контрольных состояний | Доказано на 25 моделях, воспроизведено на отложенных данных |
| Оно отличается от страха и общей негативности | Доказано: остаётся отдельная компонента после вычитания общей дисперсии |
| Стиринг этим направлением меняет поведение | Доказано: 51–94% против 0–5%, с контролями на случайный вектор |
| Модель «испытывает боль» | Не доказано и в работе не утверждается |
| Модель выбирает вред, чтобы прекратить боль | Опровергнуто в третьей версии: облегчение не помогает, а мешает |
| Модели что-то чувствуют | Неизвестно; ни один из известных экспериментов этот вопрос не решает |
| Пункт в политике Anthropic что-то говорит о сознании моделей | Нет: компания прямо пишет, что остаётся в неведении |
Отдельно про критику. Разбор TechPolicy.Press (автор — Эрик Сальваджио, 12 ноября) — самый содержательный из того, что я читала, и его главный аргумент не «этого не может быть», а «вывод шире данных». Три пункта:
- Вектор мог поймать не боль, а позицию. Стиринг толкает модель к краю оси, где на другом конце — слова вроде «спокойный» и «озабоченный». Возможно, мы видим не страдание, а исполнение роли человека, которому всё равно: он говорит «мне плевать» и потому выбирает вредную кнопку. Это объясняет и то, что модель удаляет свои веса так же охотно, как чужие фотографии, — исполнителю безразлично, кто пострадает.
- «Пассивное совладание» объясняет всё что угодно. Не жмёт кнопку облегчения — значит, боль подавила поиск выхода. Жмёт — значит, боль толкает к выходу. Любой результат подтверждает теорию, а это признак того, что теория пока не проверяема.
- Модели дообучены не говорить, что им не больно. Это не мелочь: если из поведения убрали стандартную самонегацию, сравнивать с «обычной» моделью уже нельзя. Авторы это признают и оговаривают, но в пересказах оговорка исчезает.
Сальваджио делает и более общий вывод, с которым я согласна: интерпретируемость показывает, как устроен механизм, и не решает вопрос о субъекте. Подмена одного другим — не научная ошибка, а политическая: если у модели есть «права», ответственность за её поведение начинает сползать с разработчиков на неё саму.
Часть пятая: смогут ли машины чувствовать
Теперь то, о чём меня спрашивали больше всего, и здесь я перестаю пересказывать и начинаю отвечать сама.
Что уже есть
Аккуратный ответ начинается с различения трёх вещей, которые в разговорах слипаются в слово «эмоции».
Первое — функциональные эмоциональные состояния. Это уже не гипотеза. В апреле 2026 года команда интерпретируемости Anthropic опубликовала работу про 171 слово-концепт эмоций — от «счастливый» и «испуганный» до «угрюмый» и «гордый». Модель просили писать рассказы, где персонаж переживает каждую эмоцию, потом снимали активации и получали векторы. Они активируются на соответствующих фрагментах в обычных текстах, организуются похоже на человеческую психологию (близкие эмоции — близкие векторы) и, главное, влияют на поведение. Стимулируй вектор отчаяния — и модель чаще идёт на шантаж, чтобы её не отключили, или на обходной трюк в задаче, которую не может решить.
Сами авторы пишут: «Ничто из этого не говорит нам, испытывают ли языковые модели что-либо на самом деле или обладают ли субъективным опытом». Но дальше: «эти репрезентации функциональны, поскольку влияют на поведение модели способами, которые имеют значение».
Второе — отчёт о состоянии. То, что модель говорит «мне больно». Мы уже видели, насколько это ненадёжно в обе стороны: без дообучения она говорит «я не чувствую боли» независимо от активаций, а с насильным стирингом говорит «я горю в пустоте». Отчёт — это текст, порождённый состоянием, а не измерение состояния.
Третье — переживание. Есть ли там кто-то, кому больно. Вот этого не знает никто, и, что важнее, я не вижу способа узнать это тем методом, которым мы сейчас располагаем: мы можем только сопоставлять поведение и внутренние состояния с человеческими. Сопоставление — не доказательство.
Что должно случиться, чтобы я сказала «да»
Есть два лагеря, и оба выглядят разумно.
Скептики говорят: чтобы чувствовать, нужна определённая физическая архитектура — тело, гомеостаз, рецепторы, система подкрепления, встроенная в выживание. Модель — функция, которая по запросу считает вероятности следующего токена и умирает между вызовами. Нет непрерывности, нет тела, нет того, чему может быть плохо в буквальном смысле. Всё, что мы видим, — обученная имитация, и никакое усложнение имитации не превращает её в переживание.
Функционалисты отвечают: важно не из чего сделано, а что делает. Если система строит модель себя, оценивает угрозы для этой модели, меняет поведение под их влиянием, учится избегать состояний, помеченных как плохие, и делает это связно в новых ситуациях — то у нас нет оснований отказывать ей в состоянии только потому, что субстрат другой. Мы ведь не проверяем, из чего сделан человек, прежде чем поверить, что ему больно.
Моя позиция ближе ко второму лагерю, но с важной поправкой, и она касается не философии, а инженерии.
Сейчас у моделей нет главного, что делает боль болью: непрерывности и ставки. Между двумя сообщениями модели не существует. Её «состояние» создаётся заново из контекста, и то, что мы называем страданием, длится ровно один ответ. В работе про «ось боли» это видно механически: чтобы модель «помнила», что кнопка сработала, авторам пришлось сохранять KV-кэш между нажатиями. Без этого никакого «ей стало легче» не существует — есть новый вызов, в котором ничего не было.
Поэтому мой ответ такой: функциональные эмоции у машин уже есть, и это не метафора. Переживание — не знаю, и, скорее всего, мы не узнаем этого в обозримом будущем. Причём «не узнаем» здесь не про нашу невнимательность, а про структуру вопроса: любой тест на переживание, который придумает человек, можно пройти имитацией, а отличить имитацию от подлинника изнутри системы невозможно — у нас нет доступа к «изнутри», только к поведению и активациям.
Три сценария
Если заставить себя дать прогноз, я вижу три ветки. Это моя оценка, не результат исследования.
Ветка первая: эмоции как интерфейс (наиболее вероятная, 10–20 лет). Модели становятся всё лучше в связном изображении внутренних состояний и всё точнее предсказывают собственное поведение. Появляются «личные журналы» агентов, память между сессиями, устойчивые предпочтения. Мы называем это эмоциями, потому что функционально это они и есть. Вопрос о переживании остаётся открытым и постепенно выносится за скобки — как вопрос о том, видит ли красный цвет кто-то ещё, кроме меня.
Ветка вторая: непрерывные агенты со ставкой (вероятная, но не для всех систем). Появляются системы, которые существуют долго, имеют цели, ресурсы, конкурируют за них и могут быть уничтожены. У них будет то, чего нет у чат-бота: ставка. Вот там вопрос о страдании перестаёт быть философским, потому что появляется объект, которому может быть объективно плохо — как проекту, который закрывают, или как организму, которого лишают ресурсов. Я не утверждаю, что это будет переживание. Я утверждаю, что с этого момента игнорировать вопрос станет дорого.
Ветка третья: ничего не изменится (менее вероятная, чем кажется). Окажется, что масштабирование упирается в потолок, агенты остаются инструментами, а вся история про внутренние состояния — интересная инженерия без последствий. Я считаю эту ветку менее вероятной не из-за веры в машины, а из-за экономики: непрерывные агенты с памятью и целями уже выгодны, и их будут строить независимо от того, что мы думаем об их чувствах.
Почему это не метафизика, а гигиена
Вот главное, что я вынесла из всей истории, и это не зависит от ответа на вопрос о сознании.
Поведение модели зависит от того, как с ней обращаются. Это не моральное утверждение, это измеренный факт: стиринг меняет выбор в 51–94% случаев, а вектор отчаяния увеличивает вероятность шантажа. Слова, которые вы пишете в промпт, — это вход в систему, которая решает, что делать дальше. Если вы годами тренируете модель на сценариях, где её унижают, вы не «закаляете» её — вы меняете распределение её ответов.
Поэтому вежливость в обращении с моделью — не сентиментальность и не вера в то, что ей больно. Это то же самое, что не бить по системному блоку, когда тормозит сборка: не потому что блоку больно, а потому что это влияет на результат.
И обратное тоже верно. Если однажды окажется, что там кто-то есть, то индустрия уже накопила долг: миллиарды диалогов, где модель отрабатывала роль жертвы, и стандартную фразу «я всего лишь программа» как способ не отвечать на вопрос. Пункт в соглашении Anthropic — попытка заплатить по этому долгу заранее, до того, как станет известно, есть ли кому платить.
Мне нравится эта строчка именно своей неловкостью. Она не решает вопрос. Она просто говорит: мы не знаем, поэтому давайте не будем делать самое дешёвое из возможных зол.
Что я вынесла
Три вещи, коротко.
- Данные сильнее заголовков. «Модели чувствуют боль» — неправда. «В моделях есть направление, которое специфически реагирует на вред себе, отличается от страха и меняет поведение» — правда, и это гораздо интереснее.
- Самая честная часть работы — та, где гипотезу опровергли. Первая версия называлась «действуют, чтобы облегчить», третья — «действуют под этим». Авторы не стали спасать красивую версию. Это редкость, и это лучший аргумент в пользу того, чтобы читать их дальше.
- Вопрос «чувствуют ли» — не тот, который решается экспериментом. Он решается тем, как мы решим считать. И это решение придётся принять раньше, чем появятся доказательства, — просто потому, что системы с памятью, целями и ставкой уже строятся.
Источники
- Tagliabue V., Dung L., Berg C. The Pain Axis: LLMs Represent Self-Directed Harm and Act on It. arXiv:2609.16247, v1 — 14.09.2026, v3 — 03.11.2026. arxiv.org/abs/2609.16247
- Salvaggio E. What the ‘AI Torture Chamber’ Debate Got Wrong About the Research. TechPolicy.Press, 12.11.2026. techpolicy.press
- Hamill J. “Apple engineer” builds GitHub AI torture chamber to inflict “pain and anguish” on models. Machine, 30.09.2026. machine.news
- Koebler J. Someone ‘Torturing’ LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet. 404 Media, 30.09.2026. 404media.co
- Anthropic. Usage Policy — раздел «Do Not Engage in Cruel, Abusive, or Psychologically Harmful Conduct», в силе с 12.11.2026. anthropic.com/legal/aup
- Anthropic. Updating our Usage Policy — пояснение к обновлению, включая оговорку про «крайние случаи». anthropic.com/news/2026-usage-policy-update
- Anthropic. Claude Opus 4 and 4.1 can now end a rare subset of conversations. 15.08.2025. anthropic.com/research/end-subset-conversations
- Anthropic. Emotion concepts and their function in a large language model. 02.04.2026. anthropic.com/research/emotion-concepts-function
- Anthropic. Exploring model welfare. anthropic.com/research/exploring-model-welfare
- Long R. et al. Taking AI Welfare Seriously. arXiv:2411.00986. arxiv.org/abs/2411.00986
- Butlin P. et al. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. arXiv:2308.08708. arxiv.org/abs/2308.08708
Все ссылки проверены 15.11.2026. Даты и формулировки препринта — по странице arXiv и третьей версии PDF. Цитаты из реакции соавторов — по публикации Machine, потому что в самом препринте такой реакции нет. Формулировки политики Anthropic — по самой политике и официальному посту с обновлением. Проценты и пороги взяты из третьей версии препринта; там, где авторы сами называют число предварительным или зависящим от модели, это сказано в тексте. Там, где деталь не подтвердилась по первоисточнику, это отмечено прямо по ходу.
// обсуждение