Contrastive Chain-of-Thought

from openai import OpenAI

client = OpenAI()


def contrastive_cot(
    question: str,
    demos: list[dict],
) -> str:
    """
    Contrastive CoT: few-shot с парами правильных
    и ошибочных рассуждений.

    demos — список демонстраций:
    [
        {
            "question": "...",
            "correct": "правильное рассуждение...",
            "incorrect": "ошибочное рассуждение...",
            "error_explanation": "почему это ошибка..."
        },
        ...
    ]
    """
    # Собираем промпт с контрастивными парами
    prompt_parts = []
    for demo in demos:
        part = (
            f"Вопрос: {demo['question']}\n\n"
            f"[Правильное рассуждение]\n{demo['correct']}\n\n"
            f"[Неправильное рассуждение]\n{demo['incorrect']}\n"
            f"← Ошибка: {demo['error_explanation']}"
        )
        prompt_parts.append(part)

    prompt_parts.append(
        f"Теперь реши, избегая подобных ошибок:\n"
        f"Вопрос: {question}"
    )

    prompt = "\n\n---\n\n".join(prompt_parts)

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": (
                    "Ты решаешь задачи пошагово. Тебе показаны "
                    "примеры правильных и ошибочных рассуждений. "
                    "Учись на ошибках и избегай их."
                ),
            },
            {"role": "user", "content": prompt},
        ],
        temperature=0,
    )
    return response.choices[0].message.content


demos = [
    {
        "question": (
            "Товар стоил 1000 руб. Цену подняли на 10%, "
            "потом снизили на 10%. Какова итоговая цена?"
        ),
        "correct": (
            "1. Повышение: 1000 × 1.10 = 1100 руб.\n"
            "2. Снижение: 1100 × 0.90 = 990 руб.\n"
            "Ответ: 990 руб. ✓"
        ),
        "incorrect": (
            "1. +10% и −10% дают 0% изменения.\n"
            "Ответ: 1000 руб. ✗"
        ),
        "error_explanation": (
            "Проценты считаются от разных баз. "
            "10% от 1100 ≠ 10% от 1000."
        ),
    },
    {
        "question": "В команде 8 человек. 75% сдали тест. Сколько не сдали?",
        "correct": (
            "1. Сдали: 8 × 0.75 = 6 человек.\n"
            "2. Не сдали: 8 − 6 = 2 человека.\n"
            "Ответ: 2 человека. ✓"
        ),
        "incorrect": (
            "1. Не сдали: 75% от 8 = 6 человек. ✗"
        ),
        "error_explanation": (
            "75% — это доля сдавших, а не проваливших. "
            "Не сдали 25%, то есть 2 человека."
        ),
    },
]

answer = contrastive_cot(
    question=(
        "Вклад 100 000 руб. под 10% годовых. "
        "Через год начислили проценты, на второй год "
        "ставку снизили до 5%. Сколько на счёте через 2 года?"
    ),
    demos=demos,
)
print(answer)

import anthropic

client = anthropic.Anthropic()


def contrastive_cot_anthropic(
    question: str,
    demos: list[dict],
) -> str:
    """
    Contrastive CoT через Anthropic Messages API.
    Использует чередование user/assistant для демонстраций.
    """
    messages = []

    # Демонстрации как пары user/assistant
    for demo in demos:
        # User показывает задачу
        messages.append({
            "role": "user",
            "content": f"Вопрос: {demo['question']}",
        })
        # Assistant показывает оба варианта
        messages.append({
            "role": "assistant",
            "content": (
                f"[Правильное рассуждение]\n{demo['correct']}\n\n"
                f"[Неправильное рассуждение]\n{demo['incorrect']}\n"
                f"← Ошибка: {demo['error_explanation']}"
            ),
        })

    # Целевой вопрос
    messages.append({
        "role": "user",
        "content": (
            f"Реши задачу, избегая ошибок из примеров выше.\n"
            f"Вопрос: {question}"
        ),
    })

    message = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=1024,
        system=(
            "Ты решаешь задачи пошагово. Тебе показаны примеры "
            "правильных и ошибочных рассуждений. Учись на ошибках: "
            "обращай внимание на типичные заблуждения и избегай их."
        ),
        messages=messages,
    )
    return message.content[0].text


logic_demos = [
    {
        "question": (
            "Все кошки — животные. Некоторые животные "
            "живут в воде. Живут ли некоторые кошки в воде?"
        ),
        "correct": (
            "1. Кошки — подмножество животных.\n"
            "2. «Некоторые животные живут в воде» — "
            "это могут быть рыбы, дельфины и т.д.\n"
            "3. Нет оснований утверждать, что кошки "
            "входят в группу водных животных.\n"
            "Ответ: Нельзя утверждать. ✓"
        ),
        "incorrect": (
            "1. Кошки — животные.\n"
            "2. Некоторые животные живут в воде.\n"
            "3. Значит, некоторые кошки живут в воде.\n"
            "Ответ: Да. ✗"
        ),
        "error_explanation": (
            "Ошибка недопустимого среднего термина. "
            "Свойство подмножества не обязано совпадать "
            "со свойством надмножества."
        ),
    },
]

answer = contrastive_cot_anthropic(
    question=(
        "Все программисты знают математику. "
        "Некоторые знающие математику работают в банках. "
        "Работают ли некоторые программисты в банках?"
    ),
    demos=logic_demos,
)
print(answer)

def generate_negative_example(
    question: str,
    correct_reasoning: str,
) -> dict:
    """
    Генерирует правдоподобный, но ошибочный
    вариант рассуждения через LLM.
    """
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": (
                    "Ты генерируешь правдоподобные, но ошибочные "
                    "рассуждения для обучения. Ошибка должна быть "
                    "типичной и неочевидной, но явно помеченной."
                ),
            },
            {
                "role": "user",
                "content": (
                    f"Вопрос: {question}\n\n"
                    f"Правильное рассуждение:\n{correct_reasoning}\n\n"
                    f"Сгенерируй одну правдоподобную, но ошибочную "
                    f"цепочку рассуждений для этой же задачи. "
                    f"Формат ответа (строго):\n"
                    f"РАССУЖДЕНИЕ: <ошибочная цепочка>\n"
                    f"ОШИБКА: <объяснение, в чём ошибка>"
                ),
            },
        ],
        temperature=0.7,
    )
    text = response.choices[0].message.content

    # Парсим ответ
    parts = text.split("ОШИБКА:")
    reasoning = parts[0].replace("РАССУЖДЕНИЕ:", "").strip()
    explanation = parts[1].strip() if len(parts) > 1 else ""

    return {
        "question": question,
        "correct": correct_reasoning,
        "incorrect": reasoning,
        "error_explanation": explanation,
    }


demo = generate_negative_example(
    question=(
        "За 3 дня магазин продал 150 товаров. "
        "Сколько продаст за 2 недели при том же темпе?"
    ),
    correct_reasoning=(
        "1. Темп продаж: 150 ÷ 3 = 50 товаров/день.\n"
        "2. 2 недели = 14 дней.\n"
        "3. За 14 дней: 50 × 14 = 700 товаров.\n"
        "Ответ: 700 товаров."
    ),
)
print(f"Ошибочное: {demo['incorrect']}")
print(f"Почему ошибка: {demo['error_explanation']}")