AI-порталAI-портал

Evidence Pack Design в 2026: как собирать decision-ready набор доказательств для человека и автоматики

Evidence pack design в 2026: как упаковывать citations, tool confirmations, diffs и provenance в компактный decision object, чтобы review и policy checks опирались на доказательства, а не на narrative summary.

Evidence pack design в 2026 нужен потому, что и человек, и policy engine часто ошибаются не из-за отсутствия данных, а из-за плохой упаковки этих данных. Агент уже нашёл цитаты, сделал tool lookup, вычислил diff и увидел risk flags, но downstream слой получает либо слишком длинный trace, либо красивый narrative summary без проверяемых доказательств. В результате decision quality остаётся слабой, хотя signal формально был.

Evidence pack — это компактный набор доказательств, который поддерживает конкретное решение: ответ пользователю, risky action, approval request или policy check. Его задача не в том, чтобы пересказать всё, а в том, чтобы дать decision-ready evidence object.
Самый вредный anti-pattern - считать evidence pack обычным prose summary. Summary может быть удобным, но без source pointers, tool confirmations и provenance он плохо проверяется и легко скрывает пробелы в обосновании.

Короткая версия

Хороший evidence pack в 2026 обычно содержит:

  1. Claim or proposed action
  2. Supporting evidence items
  3. Source provenance
  4. Contradictions or uncertainty
  5. Decision recommendation

Что особенно важно

  • один evidence pack должен поддерживать одно решение;
  • evidence items лучше хранить как typed objects, а не только как текст;
  • contradiction и missing evidence нужно показывать так же явно, как supporting facts;
  • pack должен быть полезен и человеку, и policy/routing logic.
Без техники
Агент отправляет в review один абзац: `вероятно, возврат разрешён`. Из чего это следует, непонятно.
С техникой
Review packet содержит claim, policy citation, billing lookup, order diff, uncertainty note и рекомендацию `approve with edited amount`.
ПромптEvidence-pack intuition
Чем evidence pack отличается от обычного summary?
Ответ модели

Summary пересказывает ситуацию. Evidence pack связывает конкретное решение с проверяемыми доказательствами, provenance и uncertainty signals.

1. Evidence pack должен быть decision-scoped

Полезная граница простая: один pack поддерживает одно из следующего:

  • ответ на конкретный вопрос;
  • risky external action;
  • human approval;
  • policy enforcement check;
  • final change proposal.

Если в pack смешаны несколько разных решений, review снова превращается в ручной разбор всего кейса.

2. В pack нужны не только supporting facts, но и ограничения

Сильный evidence pack показывает:

  • что подтверждает решение;
  • что ему противоречит;
  • чего не хватает;
  • насколько свежи источники;
  • какой trust class у evidence.

Это особенно важно, потому что AI иначе естественно скатывается к persuasive summary вместо честной decision support.

Если evidence pack не умеет явно показать insufficient evidence или contradiction, он почти всегда будет переуверенным.

3. Typed evidence items лучше narrative blobs

Каждый item полезно хранить как объект с полями вроде:

  • evidence type;
  • source id;
  • excerpt or field;
  • freshness;
  • trust class;
  • supports / contradicts / unknown.

Такой формат:

  • проще валидировать;
  • легче собирать в UI;
  • удобнее для policy checks;
  • позволяет сравнивать packs между runs.

4. Recommendation должна быть отделена от evidence

В пакете полезно держать:

  • raw evidence items;
  • synthesized recommendation;
  • uncertainty notes;
  • action gating fields.

Это позволяет человеку или policy engine не принимать recommendation как факт, а видеть, на чём она держится.

5. Что особенно часто ломают команды

Summary instead of evidence

Много гладкого текста, мало проверяемых опор.

No contradictory evidence

Показывают только то, что поддерживает решение.

Mixed scopes

Один pack покрывает несколько action candidates.

No provenance

Нельзя понять, откуда взялась ключевая опора.

Evidence hidden inside trace

Всё нужное где-то есть, но decision layer его не видит как отдельный объект.

6. Какие метрики полезны

Минимальный dashboard обычно включает:

  • percent of decisions with structured evidence packs;
  • contradiction-present rate;
  • review time by pack completeness;
  • approvals overturned after evidence inspection;
  • unsupported recommendation rate;
  • missing-provenance rate.

Плюсы

  • Evidence pack повышает decision quality без показа полного trace
  • Typed evidence objects удобны и для людей, и для automation
  • Uncertainty и contradictions делают review честнее
  • Pack design снижает зависимость от persuasive narrative

Минусы

  • Нужно проектировать evidence schema и packet assembly logic
  • Слишком крупный pack снова перегружает reviewer-а
  • Слишком краткий pack скрывает важные ограничения
  • Без provenance discipline evidence pack быстро превращается в декоративную обвязку

Пример evidence pack

{
  "decision_id": "refund_182",
  "claim": "refund_is_allowed",
  "recommendation": "approve_with_edit",
  "evidence": [
    {
      "type": "policy_citation",
      "source_id": "policy.refunds.v4",
      "supports": true
    },
    {
      "type": "billing_lookup",
      "source_id": "billing.tx_91",
      "supports": true
    }
  ],
  "uncertainty": ["customer note conflicts with billing record"]
}

Простой assembly sketch

def build_evidence_pack(decision_id, evidence_items, recommendation):
    return {
        "decision_id": decision_id,
        "evidence": evidence_items,
        "recommendation": recommendation,
        "has_contradictions": any(item["supports"] is False for item in evidence_items),
    }

Практический совет: хороший evidence pack делает главное различие между "агент красиво объяснил" и "агент действительно дал decision-ready доказательства".

Проверьте себя

1. Чем evidence pack отличается от обычного summary?

2. Что особенно важно показывать наряду с supporting evidence?

3. Какой anti-pattern особенно опасен?

Источники

  1. OpenAI API Docs - Trace grading
  2. OpenAI API Docs - Evaluation best practices
  3. OpenAI Agents SDK - Human in the loop
  4. LangGraph Docs - Human in the loop
Предыдущая
Evidence Freshness Policies в 2026: когда старое доказательство уже нельзя считать достаточным
Следующая
Fallback Answer Escalation в 2026: когда слабый fallback-ответ нужно не показывать, а эскалировать