Analogical Prompting

Суть в двух словах

Техника полезна, когда:

• хороший answer зависит от узнавания паттерна;
• ручной few-shot подбирать неудобно;
• задача похожа на уже знакомые модели кейсов;
• нужно "подсветить" нужный способ решения без жёсткой демонстрации от человека.

Прежде чем решать задачу, приведи 2 короткие похожие задачи и выдели паттерн решения. Затем реши исходную задачу.

Задача: у сервиса 10 000 пользователей, ежемесячный churn 8%, ежемесячный new acquisition 900. Сколько пользователей будет через 2 месяца?

Что даёт analogical mode

Во многих задачах модель ошибается не потому, что не умеет считать или сравнивать, а потому что не активировала правильный solution pattern. Analogical Prompting помогает именно с этим:

1. Сначала поднимается похожий пример.
2. Из него извлекается pattern.
3. Pattern переносится на новый кейс.

То есть ценность техники не в красивой аналогии как таковой, а в pattern retrieval from internal knowledge.

Где техника особенно полезна

• математика и word problems;
• SQL и кодовые задачи, где важно распознать знакомый pattern;
• бизнес-анализ;
• образовательные объяснения;
• strategy prompts, где useful comparison действительно помогает.

Почему техника хорошо работает именно как bridge

Analogical Prompting редко бывает лучшей "конечной" техникой, зато отлично работает как мост между режимами:

• zero-shot ещё слишком слаб;
• ручного few-shot пока нет;
• curated demos собирать долго;
• pattern уже угадывается, но модель не всегда поднимает его сама.

В этой зоне analogical mode часто даёт хороший выигрыш за небольшой overhead.

Где техника часто переоценена

Analogical Prompting не стоит тянуть в:

• factual QA;
• extraction;
• strict compliance answers;
• любые кейсы, где аналогия может увести от фактов.

Если пользователю нужен grounded answer, а не pattern transfer, лучше использовать retrieval или verification.

Это особенно важно в продуктах, где аналогия может звучать убедительно, но уводить не туда. Если задача factual или compliance-heavy, "похожий случай" не заменяет проверяемый источник.

Хорошая формулировка

Обычно хорошо работает такой формат:

• приведи 1-2 краткие аналогии;
• выдели общий pattern;
• примени pattern к новой задаче;
• не раздувай примеры лишними деталями.

Так модель не тонет в длинном synthetic few-shot.

Что делает аналогию реально полезной

Хорошая аналогия должна быть похожа не по словам, а по структуре:

• тот же порядок вычислений;
• тот же тип зависимости;
• тот же decision pattern;
• тот же тип ловушки.

Если совпадает только тема, а не structure, аналогия скорее шумит, чем помогает.

Сравнение с близкими техниками

Частые ошибки

Ещё типичные промахи:

• аналогия не совпадает по структуре задачи;
• pattern не извлекается явно;
• финальное решение не опирается на analogy phase;
• free-form analogy начинает подменять собой фактический ответ.

Когда лучше идти дальше

Если analogical mode стабильно помогает на одном классе задач, это сигнал:

• либо собрать curated few-shot;
• либо перевести удачные analogies в reusable prompt asset;
• либо использовать offline generation наподобие Auto-CoT.

То есть техника часто полезна ещё и как discovery-stage для будущих более стабильных demonstrations.

Техническая реализация

Минимальный паттерн

def analogical_prompt(task: str) -> str:
    return (
        "Сначала приведи 1-2 коротких похожих примера. "
        "Потом выдели общий паттерн решения. "
        "Затем примени его к исходной задаче и дай финальный answer.\n\n"
        f"{task}"
    )

Где техника особенно полезна инженерно

Она хороша как:

• middle tier between zero-shot and curated few-shot;
• backup mode для educational assistants;
• analysis aid для tasks with recurring patterns;
• quick prototyping tool before manual prompt curation.

Что стоит валидировать

Если аналогии влияют на важный workflow, полезно оценивать:

• действительно ли analogy structurally similar;
• был ли pattern extracted explicitly;
• улучшился ли task accuracy относительно zero-shot baseline.

Иначе техника может просто добавлять красивую прелюдию без measurable gain.

Что логировать в production

Если эта техника идёт в живом маршруте, полезно сохранять:

• сами generated analogies;
• extracted pattern;
• длину analogy phase;
• финальный uplift относительно direct answer route.

Так видно, помогает ли механизм реально, а не только делает ответ более "умным" на вид.