Thread of Thought (ThoT)

Суть в двух словах

ThoT полезен, когда:

• контекст длинный;
• факты разбросаны по документу;
• вопрос требует synthesis, а не одного фрагмента;
• модель теряет важные детали при direct reading.

Пройди по документу по логическим частям, из каждой части выдели только релевантные факты, затем ответь на вопрос.

Вопрос: какие дедлайны и владельцы задач были зафиксированы в протоколе?

Почему ThoT нужен, если уже есть long context

Большое контекстное окно само по себе не гарантирует хорошего ответа. Даже если модель "видит" весь документ, она может:

• не удержать середину;
• не выделить релевантные части;
• смешать фон и signal;
• сразу попытаться синтезировать answer без предварительной структуры.

ThoT решает эту проблему не увеличением окна, а disciplined traversal of context.

Где техника особенно полезна

• протоколы совещаний;
• due diligence packs;
• длинные policy documents;
• PDF and document QA;
• long support threads;
• аналитические memo с несколькими секциями доказательств.

Почему ThoT особенно полезен на chaotic evidence

Есть вопросы, где нужный ответ собирается из кусочков:

• в начале документа есть цель;
• в середине есть исключение;
• в конце есть дедлайн или финальное решение.

Direct answer часто тянется к самым ярким или последним фрагментам. ThoT полезен именно тем, что дисциплинирует проход по контексту и снижает риск, что одна секция документа задавит все остальные.

Где лучше выбрать другое

Не нужно использовать ThoT, если:

• контекст короткий;
• вопрос относится к одному явному фрагменту;
• лучше заранее сделать retrieval/chunking и дать модели только релевантные куски;
• приложение уже делает strong context assembly и compaction.

Хороший prompt pattern

Практически полезный ThoT обычно просит модель:

• идти по логическим частям;
• из каждой части брать только релевантное к вопросу;
• кратко фиксировать находки;
• в конце делать final synthesis.

Если этого не сделать, модель легко превратит ThoT в длинний пересказ документа.

Как ThoT сочетается с retrieval и chunking

ThoT не заменяет preprocessing. Лучший pipeline часто выглядит так:

1. документ делится на логические секции;
2. retrieval или file search поднимает релевантные куски;
3. внутри выбранного контекста ThoT проходит по секциям question-aware способом;
4. финальный synthesis собирает answer и evidence.

Это обычно лучше двух крайностей:

• дать модели весь документ без структуры;
• дать только один кусок и потерять картину целиком.

Сравнение с близкими подходами

Частые ошибки

Ещё типичные проблемы:

• слишком мелкое дробление;
• слишком крупные части;
• отсутствие отдельного final answer;
• смешение content summary и evidence extraction.

Practical anti-patterns

Плохой ThoT обычно выглядит так:

• модель проходит по каждой части одинаково подробно, даже если половина секций нерелевантна;
• notes per section слишком длинные;
• финальный answer просто копирует notes;
• traversal logic не меняется при смене вопроса.

Хороший вариант всегда question-aware и budget-aware: он вытаскивает только то, что реально улучшает ответ.

Техническая реализация

Базовый skeleton

def thread_of_thought(document, question, traverse_fn, synthesize_fn):
    notes = traverse_fn(document=document, question=question)
    answer = synthesize_fn(question=question, notes=notes)
    return {"notes": notes, "answer": answer}

Где техника особенно полезна инженерно

ThoT хорош в связке с:

• file_search / document retrieval;
• PDF parsing;
• transcript analysis;
• agentic research workflows;
• long-context copilots.

Что важно логировать

• sequence of traversed sections;
• extracted notes per section;
• final synthesis;
• which sections actually contributed to answer.

Так можно понять, действительно ли техника улучшает evidence handling.

Production-критерий пользы

ThoT оправдан, если он реально снижает:

• пропуски релевантных фактов;
• конфликтующие ответы по одному и тому же документу;
• hallucinated synthesis без опоры на текст.

Если этого не происходит, а latency вырос, значит проблема, скорее всего, не в способе чтения контекста, а в retrieval, parsing или слишком общем вопросе.