Self-Discover

Суть в двух словах

Self-Discover полезен, когда:

• заранее неясно, какой reasoning pattern подойдёт;
• задача многогранная;
• обычный CoT слишком прямолинеен;
• нужен более адаптивный подход, чем один fixed prompt-template.

Обычно техника идёт в две фазы:

• выбрать reasoning modules;
• собрать из них structure и заполнить её.

Сначала выбери, какие reasoning-модули нужны для задачи: decomposition, assumptions check, comparison, risk analysis, step-by-step. Затем собери краткую структуру решения и заполни её.

Задача: компании нужно решить, закрывать ли low-margin enterprise segment, который приносит 18% выручки, но почти не даёт прибыли.

Почему техника интересна

Большинство reasoning prompts предполагают, что формат решения уже известен:

• сначала шаги;
• сначала план;
• сначала аналогии;
• сначала принципы.

Self-Discover говорит: а что если правильный scaffold зависит от задачи и должен выбираться динамически?

Именно это делает технику интересной: она оптимизирует не только answer, но и thinking structure.

Где техника действительно полезна

• open-ended analytical tasks;
• strategy and decision support;
• education и tutoring;
• complex policy reasoning;
• agent workflows, где нужен dynamic plan of thought.

Почему Self-Discover особенно интересен в mixed-task системах

Техника сильнее всего не на одном "сложном вопросе", а в системах, где под одним route живут разные типы reasoning:

• иногда нужен decomposition;
• иногда сравнение альтернатив;
• иногда проверка допущений;
• иногда risk review перед recommendation.

Если на все такие кейсы натянуть один fixed scaffold, часть задач будет решаться хорошо, а часть будет проваливаться именно на структуре. Self-Discover полезен как способ не угадывать template заранее, а выбирать его под запрос.

Где она слишком тяжёлая

Не стоит тащить Self-Discover в:

• basic arithmetic;
• short factual QA;
• extraction and formatting;
• задачи с already obvious solution template.

В этих случаях лучше simpler techniques.

Практическое правило простое: если вы уже знаете, какой reasoning pattern нужен, Self-Discover почти всегда избыточен. Он окупается только там, где выбор структуры сам по себе является частью задачи.

Хорошая mental model

Self-Discover особенно понятен, если думать о нём как о выборе из набора micro-strategies:

• decomposition;
• compare options;
• check assumptions;
• use principles;
• assess risks;
• synthesize final decision.

Техника сильна не потому, что модулей много, а потому что модель учится собирать нужный набор под конкретную задачу.

Что считать хорошим scaffold

Полезный scaffold:

• меняет порядок мышления;
• убирает пропуски важных проверок;
• явно влияет на финальный answer;
• достаточно короткий, чтобы не съедать весь reasoning budget.

Плохой scaffold:

• повторяет wording вопроса;
• перечисляет очевидные шаги без пользы;
• не приводит к другой структуре решения;
• одинаков для всех задач независимо от типа запроса.

Сравнение с соседними техниками

Частые ошибки

Ещё частые проблемы:

• слишком большой и размытый набор модулей;
• modules overlap друг с другом;
• scaffold не используется во второй фазе;
• система не оценивает, даёт ли meta-phase measurable uplift.

Хорошая схема оценки

Для техники полезно сравнивать не только final accuracy, но и:

• меняется ли выбранный scaffold от типа задачи;
• какие modules реально коррелируют с более сильным answer;
• где meta-phase только увеличивает latency;
• сколько раз chosen structure потом действительно используется в reasoning trace.

Иначе легко получить красивый, но бессмысленный adaptive layer.

Техническая реализация

Базовый skeleton

def self_discover(task, select_modules_fn, compose_fn, solve_fn):
    modules = select_modules_fn(task)
    structure = compose_fn(task=task, modules=modules)
    answer = solve_fn(task=task, structure=structure)
    return {
        "modules": modules,
        "structure": structure,
        "answer": answer,
    }

Что важно инженерно

Для production полезно логировать:

• какие modules были выбраны;
• какая structure получилась;
• изменила ли она answer quality относительно baseline.

Иначе Self-Discover быстро становится дорогой, но не проверяемой feature.

Хорошие use-cases для eval

Технику имеет смысл тестировать там, где:

• fixed templates проигрывают;
• задачи сильно различаются внутри одного домена;
• ошибки reasoning structure заметно влияют на answer quality.

Production anti-pattern