HyDE

Коротко

HyDE полезен, когда:

• запрос слишком короткий;
• query написан разговорно;
• обычный dense retrieval не находит нужный контекст;
• нет размеченных relevance labels.

Сначала сгенерируй гипотетический документ, который мог бы содержать ответ. Затем используй его как поисковый proxy.

Запрос: как уменьшить latency у агентной системы с несколькими API-вызовами?

HyDE нужен не для галлюцинации, а для лучшего поиска реальных документов.

Почему HyDE работает

У простого retrieval есть известная слабость: пользовательский запрос часто слишком короткий и не содержит терминов, которые реально встречаются в релевантных документах. HyDE добавляет промежуточный слой:

1. модель пишет hypothetical document;
2. этот документ кодируется в embedding;
3. retrieval ищет реальные близкие тексты.

Так модель расширяет query семантически, но искать всё равно продолжает по реальному корпусу.

Когда техника особенно полезна

HyDE хорошо показывает себя в:

• корпоративном поиске;
• FAQ и knowledge base, где пользователи формулируют запросы неязыком документации;
• multilingual retrieval;
• zero-shot dense retrieval;
• случаях, где query expansion важнее, чем сложная reranking-логика.

Техника особенно полезна, если вы видите, что релевантный документ в базе есть, но retriever его стабильно не находит.

Ограничения

Главный риск HyDE в том, что плохой hypothetical document может увести поиск в неправильную тему. Если модель слишком рано "догадалась" не туда, retriever только усилит этот bias.

Поэтому HyDE лучше использовать:

• с короткими контролируемыми prompts;
• с ограничением на стиль hypothetical document;
• вместе с reranking и постпроверкой retrieved evidence.

Почему техника актуальна в 2026

По мере роста enterprise RAG становится очевидно, что проблема часто не в генерации, а в слабом первом retrieval hit. HyDE полезен как дешёвый слой semantic expansion без обязательного fine-tuning retriever.

Это делает технику практичной для команд, которым нужен прирост recall без большого ML-проекта.

Техническая реализация

const hypotheticalDoc = await model(generateHypotheticalDocPrompt(query))
const queryEmbedding = await embed(hypotheticalDoc)
const docs = await vectorSearch(queryEmbedding)

Практический совет: храните рядом исходный query и hypothetical document. Это помогает быстро увидеть, где HyDE реально расширяет смысл, а где просто шумит.