Approval Policy Tuning в 2026: как не утонуть в unnecessary review и не открыть лишний риск

Approval policy tuning в 2026: где ужесточать review, где ослаблять, как считать false approvals и unnecessary human review в agent workflows.

Approval policy tuning в 2026 нужна потому, что первая версия review policy почти всегда либо слишком жёсткая, либо слишком мягкая. В одном случае система уходит в unnecessary human review и теряет throughput. В другом случае dangerous actions проходят слишком далеко без достаточного контроля. Поэтому approval layer нужно не просто включить, а регулярно настраивать как отдельную операционную систему риска.

Approval policy — это правила, какие действия агент может делать сам, а какие должен показать человеку. Tuning нужен, чтобы эта граница была не случайной, а соответствовала реальной цене ошибки и реальной нагрузке на reviewers.
Самый вредный anti-pattern - считать, что once-approved policy можно больше не трогать. Агентные workflows, модели, traffic mix и reviewer capacity меняются, а старая review граница быстро перестаёт соответствовать реальности.

Короткая версия

Хороший approval policy tuning в 2026 обычно смотрит на:

  1. False approvals
  2. Unnecessary human review
  3. Edit-before-approve patterns
  4. Escalation quality
  5. Review latency by risk class

Что особенно важно

  • low-risk и high-risk actions нельзя настраивать одинаково;
  • edit-before-approve часто показывает, что policy слишком узкая или packet слишком сырой;
  • tuning должен учитывать reviewer capacity, а не только риск;
  • policy стоит изменять по классам кейсов, а не одной глобальной ручкой.
Без техники
Любой refund и любой внешний email всегда идут в review, независимо от суммы, confidence и policy match.
С техникой
Approval thresholds зависят от risk bucket, суммы, confidence, evidence quality и historical edit rate. Очередь становится меньше, а опасные кейсы лучше покрыты.
ПромптApproval tuning intuition
Что показывает высокий edit-before-approve rate?
Ответ модели

Часто это сигнал, что action packet или порог policy выбраны неудачно: кейсы уже почти готовы к approve, но человеку постоянно приходится вносить однотипные правки.

1. Approval policy — это граница автоматизации

Её задача не просто "добавить человека", а ответить на вопрос:

  • где агент может действовать автономно;
  • где нужен review;
  • где нужен specialist escalation;
  • где лучше вообще manual-only path.

Поэтому tuning полезно строить вокруг trade-off:

  • safety;
  • throughput;
  • reviewer cost;
  • user latency.

2. Одни метрики review недостаточны

Полезно смотреть не только approve rate, но и:

  • сколько bad actions прошли;
  • сколько benign cases зря ушли человеку;
  • какие поля чаще всего редактируют;
  • какие кейсы reviewers почти всегда эскалируют;
  • где policy даёт много post-approval incidents.
Если policy меняется только на основе страха или только на основе queue pressure, она почти всегда смещается слишком далеко в одну сторону. Нужны одновременно risk и operations сигналы.

3. Edit-before-approve — один из лучших сигналов

Этот паттерн часто показывает:

  • packet неполный;
  • payload сырой;
  • threshold слишком строгий;
  • threshold слишком слабый;
  • agent consistently misses one operational detail.

Именно поэтому edit data полезно возвращать в:

  • packet design;
  • tool schema;
  • routing;
  • approval thresholds.

4. Тюнинг лучше делать по классам, а не глобально

Примеры полезной сегментации:

  • money movement by amount;
  • external communication by audience;
  • browser actions by domain;
  • support actions by policy sensitivity;
  • code actions by repo or branch type.

Так policy становится точнее и менее шумной.

5. Reviewer capacity тоже часть policy

Иногда policy technically правильная, но operationally невыгодная:

  • очередь слишком длинная;
  • reviewers часто спешат;
  • rising fatigue снижает quality;
  • urgent risky cases начинают ждать слишком долго.

Поэтому tuning должен учитывать:

  • available reviewer bandwidth;
  • SLA pressure;
  • current traffic shape.

6. Что особенно часто ломают команды

One global threshold

Одна и та же policy на всё подряд.

No feedback from edits

Редактирование происходит, но никто не смотрит на повторяющиеся patterns.

Queue pressure ignored

Policy формально "безопасная", но review layer уже не выдерживает.

Risk-only tuning

Команда всё больше ужесточает policy, не замечая, что human layer становится bottleneck.

Ops-only tuning

Команда ради скорости снимает слишком много approvals.

7. Какие метрики полезны

Минимальный approval-tuning dashboard обычно включает:

  • false approval incidents;
  • unnecessary human review rate;
  • edit-before-approve rate;
  • post-approval incident rate;
  • review latency by risk class;
  • escalation acceptance / rejection patterns.

Плюсы

  • Policy tuning снижает и лишний human review, и незакрытый риск
  • Сегментация по action class делает approvals точнее
  • Edit and escalation data дают сильный feedback loop
  • Можно лучше согласовать safety с reviewer capacity

Минусы

  • Нужны хорошие review metrics и evidence quality
  • Слишком частые изменения policy могут запутать reviewers
  • Без calibration human layer сам становится шумным источником сигнала
  • Оптимальный баланс редко бывает стабильным надолго

Пример policy buckets

approval_rules:
  refunds:
    auto_approve_if:
      - amount < 20
      - evidence_quality = high
      - no_policy_exception = true
    require_review_if:
      - amount >= 20
      - or low_confidence = true

  external_email:
    require_review_if:
      - recipient_domain not in allowlist
      - or user_impact = high

Простой tuning question set

1. Какие cases почти всегда approve without edits?
2. Какие cases почти всегда require edits?
3. Где post-approval incidents всё ещё высоки?
4. Где queue pressure слишком велик?
5. Какие thresholds можно сузить по сегментам?

Практический совет: самый полезный approval tuning обычно начинается не с "сделаем review меньше", а с "какие exactly review decisions не дают нового safety signal". Это приводит к более чистым и менее рискованным изменениям.

Проверьте себя

1. Почему approval policy нужно регулярно tuning'овать?

2. Что часто показывает высокий edit-before-approve rate?

3. Какой anti-pattern особенно вреден?