roboticworx

#ИИ-ассистенты · #Архитектура

Ассистент — это не чат, это процесс

Почему «поболтать с моделью» и «ассистент» — разные инженерные задачи: состояние, инструменты, планировщик и границы автономии.

/3 мин чтения

Почти каждый проект «с ИИ» начинается одинаково: текстовое поле, кнопка «отправить», ответ в пузыре. Красиво на демо, бесполезно на второй день. Потому что чат — это интерфейс, а не система. Ассистент, который реально работает, — это долгоживущий процесс: он помнит вчерашнее, просыпается по расписанию, что-то делает руками и знает, чего ему делать нельзя.

Разница принципиальная. Чат-бот отвечает на вопрос и умирает вместе с контекстным окном. Ассистент продолжает существовать между запросами — и именно там начинается инженерия.

Четыре части, без которых это игрушка

Если убрать любую из них, получается дорогая демонстрация возможностей модели.

  • Память. Не «всё в промпте», а узкая, структурированная и с жёстким бюджетом.
  • Инструменты. Настоящие операции с побочными эффектами: файлы, API, деплой, письма.
  • Планировщик. Возможность начать действие без человека в моменте.
  • Границы. Явный список того, что запрещено, и способ это остановить.

Первые три очевидны. Четвёртую обычно вспоминают после первого инцидента.

Память — это бюджет, а не склад

Соблазн простой: «давайте сохранять всё, модель разберётся». Через месяц в памяти лежит восемьсот фактов, половина устарела, а каждый запрос стоит как подписка на стриминг.

Память надо проектировать как кэш, а не как архив. У неё есть лимит символов, правила вытеснения и разные уровни детализации: короткий факт — всегда в контексте, подробности — по требованию.

# псевдокод: два уровня памяти
CORE_BUDGET = 2200      # символов, всегда в промпте
DETAIL_BUDGET = 12000   # подгружается по запросу

def recall(query: str) -> str:
    core = store.core_facts()                      # кто пользователь, правила
    hits = store.search(query, limit=5)            # релевантные заметки
    return fit(core, hits, budget=DETAIL_BUDGET)

Ключевая деталь: fit() не «обрезает», а приоритизирует. Обрезка по середине строки — это способ потерять именно ту фразу, ради которой всё затевалось.

Инструменты должны быть скучными

Самая частая ошибка — дать модели десять «умных» инструментов с широкими полномочиями. Работает ровно до первого rm не туда.

Хороший инструмент:

  1. делает одну вещь и называет её честно;
  2. идемпотентен — повторный вызов не ломает состояние;
  3. имеет таймаут и лимит;
  4. пишет в аудит-лог что, когда и с каким результатом.

Плохо: run_command(cmd). Хорошо: restart_service(name), read_log(path, lines), post_note(text). Разница в том, что второй набор можно ограничить политикой, а первый — только надеждой.

Если инструмент нельзя описать одним предложением без союза «и», это два инструмента.

Границы автономии — по уровням, не «вкл/выкл»

Автономия — не бинарный флаг. Практичная шкала выглядит так:

УровеньЧто можноКто подтверждает
readчитать, искать, анализироватьникто
proposeготовить план и черновикиникто
act-confirmвыполнять с подтверждениемчеловек
act-auditвыполнять сразу, но с логом и откатомчеловек post-factum

Ассистент должен уметь работать на всех четырёх и переключаться между ними по типу задачи, а не по настроению. И на каждом уровне нужен один и тот же элемент: kill switch, доступный человеку физически, а не через диалог с той же моделью.

При чём здесь права роботов

Здесь начинается тема, ради которой этот блог и существует.

Как только система принимает решения с последствиями, появляется вопрос ответственности. Не метафизический — юридический и инженерный. Кто отвечает за отказ в обслуживании, за удалённый файл, за неверный медицинский совет? Если ответ «модель», то ответа нет.

Права роботов — это обратная сторона обязанностей людей. Автономной системе нужны не «чувства», а предсказуемая рамка: что ей разрешено, что запрещено, кто её выключает и где хранится след её решений. Чем больше автономии, тем строже должна быть рамка — иначе автономия превращается в безнадзорность с бюджетом на API.

Что в итоге

Ассистент, которому можно доверять, выглядит скучно: короткие логи, понятные инструменты, лимиты, аудит, кнопка «стоп». Никакой магии. Магия — в том, что такая система работает год, а не до первой пятницы.

Дальше разберём каждый слой отдельно: как устроена память с бюджетом, как проектировать инструменты, которые нельзя использовать во вред, и как выглядит декларация прав для автономных систем. Начнём с памяти — она ломается первой.

// обсуждение