Citation and Confidence в 2026: как показывать источники и не притворяться, что модель знает точно

Короткая версия

Хороший production UI для citation and confidence делает четыре вещи:

1. Привязывает источники к конкретным claims
2. Различает supported, partial и unsupported content
3. Использует confidence как routing/UX signal, а не как магическое обещание истины
4. Умеет честно показывать insufficient evidence

Что особенно полезно

• inline citations или claim-level anchors;
• короткие evidence snippets;
• coarse confidence bands вместо псевдоточных процентов;
• отдельный no-answer path;
• eval на citation quality, а не только на общую helpfulness.

Как лучше показать пользователю ответ: `Политика возврата - 14 дней`?

1. Citation и confidence решают разные задачи

Полезно развести их по ролям:

Citation

Отвечает на вопрос:

• откуда это взялось;
• на какой документ или fragment опирается claim;
• можно ли быстро проверить источник.

Confidence

Отвечает на вопрос:

• насколько система сама считает ответ устойчивым;
• стоит ли auto-send, показать warning или отправить на review;
• нужен ли fallback или refusal.

Если смешать эти понятия, получается плохой UX:

• citation начинает восприниматься как proof of truth;
• confidence начинает выглядеть как fake probability.

2. Citation имеет смысл только на уровне claim

Список источников "в конце ответа" полезен мало, если пользователь не понимает, какой именно тезис они поддерживают.

Лучший production-паттерн:

• inline anchors;
• footnote-style links у конкретных фраз;
• hover/expand с коротким evidence snippet;
• возможность открыть исходный документ.

Это особенно важно для:

• RAG-answering;
• policy bots;
• enterprise copilots;
• research summaries;
• legal / finance support flows.

3. Confidence лучше показывать диапазонами, а не псевдоточными числами

Во многих продуктах полезнее не 87% confidence, а грубые режимы:

• high support;
• moderate support;
• low support;
• insufficient evidence.

Почему так лучше:

• интерфейс не притворяется calibrated classifier;
• пользователю легче понять, что делать дальше;
• проще связать UI с routing rules.

Например:

• high support - можно показать обычный ответ;
• moderate support - показать источник и короткое предупреждение;
• low support - предложить уточнить запрос или перепроверить;
• insufficient evidence - отказаться от категоричного ответа.

4. Confidence должен зависеть не только от модели

Хорошая confidence policy обычно учитывает несколько сигналов:

• retrieval coverage;
• citation quality;
• disagreement между answer и evidence;
• judge score;
• repeated tool failures;
• наличие conflicting documents.

Именно поэтому confidence полезнее считать как system-level signal, а не как self-reported уверенность модели.

5. Когда лучше честно не отвечать

У evidence-aware систем должен быть явный path не хватает оснований.

Это особенно важно, когда:

• retrieval ничего существенного не нашёл;
• найденные источники противоречат друг другу;
• ключевой claim не подтверждается текстом;
• пользовательский вопрос требует более свежих данных, чем есть в knowledge base.

Отказ здесь - не деградация UX, а сохранение доверия.

6. Что именно нужно оценивать

Если мерить только helpfulness, можно пропустить опасный failure mode: ответ приятный, но citations декоративные.

Полезные отдельные метрики:

• citation presence;
• citation correctness;
• claim coverage;
• quoted span alignment;
• unsupported claim rate;
• false confidence rate.

Особенно коварен последний пункт: система говорит уверенно там, где evidence слабый или неполный.

7. Что чаще всего ломают команды

Decorative citations

Источники есть, но они не привязаны к claims.

Overconfident UI

Интерфейс показывает высокий confidence по умолчанию.

Нет path для partial support

Система умеет только "подтверждено" или "ничего не знаем", хотя реальность сложнее.

Citation drift

Цитата якобы поддерживает тезис, но по факту fragment не совпадает с утверждением.

No-answer стыдливо скрыт

Вместо честного отказа система всегда генерирует хоть какой-то ответ.

8. Где это особенно окупается

Сильнее всего citation-and-confidence UX окупается в:

• knowledge assistants;
• policy and compliance bots;
• enterprise search;
• medical / legal triage with human oversight;
• support copilots, где важно объяснять источник ответа.

Там доверие строится не на "бот звучит умно", а на том, что пользователь видит evidence boundary.

Пример coarse confidence policy

confidence_bands:
  high_support:
    requires:
      - citation_coverage >= 0.9
      - unsupported_claims = 0
      - judge_groundedness >= 0.85
  moderate_support:
    requires:
      - citation_coverage >= 0.6
      - unsupported_claims <= 1
  low_support:
    requires:
      - citation_coverage < 0.6
  insufficient_evidence:
    requires:
      - retrieval_hit = false
      - or conflicting_sources = true

Пример response envelope

{
  "answer": "Возврат электроники возможен в течение 7 дней при наличии чека или номера заказа.",
  "confidence_band": "high_support",
  "claims": [
    {
      "text": "Возврат электроники возможен в течение 7 дней",
      "citations": ["policy_doc_7#p2"]
    },
    {
      "text": "Нужен чек или номер заказа",
      "citations": ["policy_doc_7#p3"]
    }
  ]
}

Практический совет: confidence стоит вычислять после retrieval, validation и citation checks. Если строить его только из self-confidence модели, вы почти неизбежно получите красивый, но плохо откалиброванный UX.