AI-порталAI-портал

Degraded Answer Policies в 2026: как отвечать честно, когда evidence path уже ослаблен

Degraded answer policies в 2026: как менять стиль, scope и confidence ответа при слабом retrieval, degraded tools и partial outages, чтобы система не скрывала снижение качества под тем же UI.

Degraded answer policies в 2026 нужны потому, что AI-система редко теряет качество полностью и мгновенно. Гораздо чаще ослабевает один из evidence paths: retrieval дал слабые хиты, reranker не сработал, citation layer недоступен, tool output неполный, human review queue перегружена. В этот момент нельзя просто продолжать отвечать как обычно. Если продукт не меняет политику ответа, он начинает говорить тем же тоном, но на более хрупком основании.

Degraded answer policy — это правило, как именно меняется ответ системы, когда quality path ослаблен. Меняется не только confidence, но и то, что можно утверждать, какой объём деталей давать и когда нужно честно abstain.
Самый вредный anti-pattern - скрывать degraded mode за тем же шаблоном ответа. Тогда пользователь получает тот же confident UI, хотя evidence underneath уже слабее.

Короткая версия

Хорошая degraded answer policy в 2026 обычно определяет:

  1. Какие failure modes переводят систему в degraded mode
  2. Какие claims в этом режиме разрешены
  3. Как меняется confidence и wording
  4. Когда нужен clarification или abstain
  5. Как это видно пользователю

Что особенно важно

  • degraded mode должен менять не только backend route, но и сам answer contract;
  • чем слабее evidence path, тем уже scope допустимых утверждений;
  • citations missing и low-trust evidence требуют отдельной wording policy;
  • пользователь должен видеть, что ответ пришёл в ограниченном режиме.
Без техники
Система отвечает тем же уверенным стилем, хотя retrieval fallback уже перешёл на weak tier без reranker.
С техникой
Ответ сужает claim scope, явно помечает ограничения, предлагает clarification и не делает risky recommendations без strong evidence.
ПромптDegraded-answer intuition
Что должно меняться в ответе, если evidence path ослаблен?
Ответ модели

Не только confidence label. Должны меняться scope утверждений, wording, доступность рекомендаций и право системы делать сильные выводы.

1. Разные failure modes требуют разных degraded policies

Полезно различать:

  • missing citations;
  • weak retrieval;
  • stale source usage;
  • degraded tools;
  • missing approval path;
  • external dependency failure.

Не все они одинаково опасны. Одни ограничивают detail, другие должны полностью блокировать action-like advice.

2. Degraded policy должна сужать claim scope

Например:

  • разрешать только high-level summary;
  • запрещать numeric precision;
  • запрещать policy interpretation without trusted source;
  • запрещать recommendation that implies action;
  • переводить ответ в clarification mode.
Если evidence path ослаблен, безопаснее сужать scope ответа, а не просто добавлять фразу могу ошибаться в конце.

3. UX должен отражать degraded mode

Пользователь должен понимать:

  • почему answer сейчас ограничен;
  • чего именно системе не хватает;
  • можно ли retry later;
  • нужен ли human escalation;
  • насколько можно доверять этому ответу.

Скрытый degraded mode создаёт тот же текстовый output, но ломает trust.

4. Policy нужно связывать с route и risk class

Для low-risk informational answer деградация допустима шире. Для:

  • compliance advice;
  • money-related workflows;
  • external communication;
  • support policy decisions

degraded mode должен быть заметно строже.

5. Что особенно часто ломают команды

Same answer template in all modes

Нормальный и degraded mode выглядят одинаково.

Confidence-only fix

Добавляют badge, но не меняют allowed claims.

No failure-mode mapping

Все виды деградации сводят к одному generic warning.

Hidden citation loss

Ответ уже без evidence, но UI никак это не показывает.

No abstain path

Система продолжает говорить даже там, где пора ограничиться refusal or escalation.

6. Какие метрики полезны

Минимальный dashboard обычно включает:

  • degraded-answer rate by route;
  • unsupported claims in degraded mode;
  • user retries after degraded answers;
  • clarification rate;
  • abstain rate by failure mode;
  • incidents caused by hidden degradation.

Плюсы

  • Degraded answer policy делает поведение системы честнее при partial failure
  • Сужение claim scope уменьшает risk of overclaiming
  • Явный degraded UX укрепляет trust сильнее, чем скрытая деградация
  • Policy помогает согласовать reliability и product wording

Минусы

  • Нужно проектировать несколько answer modes вместо одного
  • Слишком жёсткий degraded mode может раздражать пользователей
  • Failure-mode mapping требует зрелой observability
  • Без route-specific rules degraded policy быстро становится слишком общей

Пример degraded policy

degraded_modes:
  weak_retrieval:
    allow_policy_interpretation: false
    allow_action_recommendation: false
    response_style: cautious_summary
  missing_citations:
    show_citation_warning: true
    allow_numeric_precision: false

Простой policy check

def answer_mode(state):
    if state["retrieval_tier"] == "weak":
        return "cautious_summary"
    if not state["citations_available"]:
        return "limited_answer"
    return "normal"

Практический совет: зрелая degraded answer policy делает продукт не "менее умным", а более честным в тот момент, когда quality path уже не держит прежний уровень уверенности.

Проверьте себя

1. Почему degraded answer policy не сводится к одному confidence badge?

2. Что особенно полезно делать при weak retrieval?

3. Какой anti-pattern особенно опасен?

Источники

  1. OpenAI API Docs - Prompting
  2. OpenAI API Docs - Evaluation best practices
  3. OpenAI API Docs - Trace grading
  4. OpenTelemetry - GenAI semantic conventions
Предыдущая
Degraded Action Policies в 2026: что делать с действиями, когда support path уже ослаблен
Следующая
Degraded Mode Disclosures в 2026: как честно сообщать пользователю, что система работает в ослабленном режиме