Context-Faithful Prompting

Суть в двух словах

Контекстная верность нужна, когда важнее всего:

• ссылаться на given docs;
• не смешивать retrieved text с внешними знаниями;
• корректно говорить not found, если в контексте ответа нет.

Базовый паттерн

Хороший prompt обычно содержит:

• явное указание использовать только предоставленный контекст;
• правило if absent -> say not found;
• требование цитировать или ссылаться на куски контекста;
• запрет на домысливание.

Ответь только на основе контекста ниже. Если в контексте нет точного ответа, так и скажи: `not found in provided context`.

Контекст:
[Policy v3.2: Enterprise plan includes SSO and audit logs. SCIM provisioning is available only on Business Plus.]

Вопрос: Доступен ли SCIM в Enterprise plan?

Почему context-faithfulness трудно получить автоматически

Даже если вы дали модели документ, она всё равно может:

• подтянуть похожие знания из parametric memory;
• сгладить противоречия "по смыслу";
• уверенно домыслить пробел;
• ответить "как обычно бывает", а не "что написано здесь".

Поэтому grounded answering почти никогда не получается просто от факта "контекст приложен". Нужны явные prompt-level и app-level меры.

Практические приёмы

Где техника особенно полезна

Хорошие кейсы:

• enterprise search;
• policy Q&A;
• support over docs;
• compliance lookup;
• contract review;
• file_search / retrieval-based copilots;
• report generation with citations.

Почему faithfulness нельзя сводить к одной фразе

Разработчики часто надеются, что предложение вроде use only the provided context уже решит проблему grounding. На практике этого почти никогда недостаточно, потому что модели по-прежнему:

• любят сглаживать пробелы;
• подтягивают похожие знания из памяти;
• смешивают retrieved text с "общим здравым смыслом";
• неохотно отвечают not found, если можно выдать plausible answer.

Поэтому context-faithfulness лучше понимать как связку нескольких ограничений, а не как одну волшебную инструкцию.

Менее заметна польза:

• в general chat;
• там, где no external docs provided;
• на задачах, где нужен synthesis из knowledge, а не literal grounding.

Если задача требует именно synthesis поверх множества документов, слишком жёсткая faithfulness-инструкция может даже мешать. Там важен баланс между grounding и полезной агрегацией.

Что prompt alone не исправит

Context-faithful wording не спасёт, если:

• retrieval выдал нерелевантный кусок;
• важный документ не найден;
• chunks слишком шумные;
• evidence fragment пришёл без нужного соседнего контекста.

То есть prompt-level faithfulness — только один слой. Остальное лежит в retrieval and context engineering.

Что делает good grounded answer

Полезный grounded answer обычно:

• опирается на конкретный evidence fragment;
• явно говорит, когда данных не хватает;
• не расширяет claims beyond context;
• сохраняет терминологию источника там, где это важно.

Именно это стоит считать operational definition of faithfulness, а не просто фразу "ответь по документу".

Полезный pattern для 2026

Хороший grounded prompt обычно содержит четыре вещи:

• use only provided context;
• if missing -> say not found;
• cite evidence;
• do not merge with outside knowledge.

Именно комбинация этих элементов чаще всего даёт практический эффект, а не одна магическая фраза.

Когда лучше идти дальше

Если faithfulness-промпт всё ещё не даёт нужного качества, следующий шаг чаще всего не "ещё жёстче запретить outside knowledge", а:

• улучшить retrieval;
• улучшить chunking и evidence selection;
• ввести citations or answer-evidence pairs;
• добавить no-answer calibration в eval.

Сравнение с соседними техниками

Частые ошибки

Ещё типичные проблемы:

• нет явного no-answer fallback;
• context смешан с instructions;
• prompt запрещает outside knowledge, но не требует evidence;
• quality оценивается только по final answer, а не по groundedness.

Production anti-pattern

Техническая реализация

prompt = """
Используй только контекст ниже.
Если ответа нет, верни `not found in provided context`.
Для каждого утверждения укажи evidence.

<context>
...
</context>

<question>
...
</question>
"""

Practical upgrades

• добавляйте citations;
• оценивайте groundedness отдельно от final-answer quality;
• не пытайтесь лечить prompt-ом retrieval mistakes — исправляйте retrieval pipeline;
• логируйте answer + evidence как пару.

Что полезно мерить

• answer groundedness;
• citation accuracy;
• unsupported claim rate;
• false-positive answer rate вместо not found.

Именно эти метрики показывают, улучшила ли техника real context adherence.