Logic-of-Thought

Зачем нужна логика поверх CoT

Chain of Thought отлично работает на многих задачах: модель рассуждает по шагам и приходит к ответу. Но на задачах формальной логики (силлогизмы, условные выводы, задачи с отрицанием) CoT часто ошибается: модель «перескакивает» через шаги, путает «если» с «только если», игнорирует отрицания. Причина — CoT опирается на естественный язык, который допускает двусмысленности.

Logic-of-Thought решает проблему в три этапа: (1) извлечь факты из задачи, (2) записать их формально, (3) рассуждать, проверяя каждый шаг по формальным правилам. Модель получает «логический каркас» до генерации ответа — это как шпаргалка с правилами, которая не позволяет ошибиться.

Как работает Logic-of-Thought

Три фазы LoT

Ключевая идея LoT — разделить процесс на три последовательные фазы. Каждая фаза трансформирует представление задачи: от естественного языка к формальной логике и обратно.

Примеры применения

Реши задачу методом Logic-of-Thought.

Задача: В компании действуют правила:
1. Все сотрудники с опытом более 5 лет получают бонус.
2. Все сотрудники с бонусом могут взять дополнительный отпуск.
3. Мария работает в компании 3 года.
4. Иван работает в компании 7 лет.

Вопрос: Кто может взять дополнительный отпуск?

Шаг 1 — Извлеки пропозиции.
Шаг 2 — Запиши логические выражения.
Шаг 3 — Рассуждай и верифицируй каждый вывод.

Метод: Logic-of-Thought.

Задача (контрапозиция):
Если идёт дождь, то улицы мокрые.
Улицы сухие.
Идёт ли дождь?

Выполни три фазы LoT: пропозиции → логика → верификация.

Метод: Logic-of-Thought.

Задача: Рассмотрим утверждения:
1. Ни один робот не испытывает эмоций.
2. Все существа, испытывающие эмоции, способны к эмпатии.
3. Некоторые ассистенты — роботы.

Вопрос: Верно ли, что некоторые ассистенты неспособны к эмпатии?

Выполни три фазы LoT.

Сравнение точности

Авторы тестировали LoT на нескольких логических бенчмарках, сравнивая с базовым CoT-промптингом. Наибольший прирост — на задачах с отрицанием и контрапозицией, где CoT систематически ошибается.

LoT особенно эффективен на:

• Силлогизмах и выводах — задачи с кванторами «все», «некоторые», «ни один»
• Контрапозиции и modus tollens — «если А, то Б» + «не Б» → «не А»
• Задачах с отрицанием — двойные отрицания, «не все» vs «все не»
• Многоступенчатых рассуждениях — цепочки из 3+ логических шагов

Где LoT реально уместен

Техника особенно полезна там, где:

• важны логические отношения, а не просто world knowledge;
• ошибка часто возникает из-за отрицаний, кванторов и условий;
• задачу можно reasonably formalize без огромных потерь смысла.

Это хороший fit для:

• formal logic tasks;
• policy / contract reasoning;
• compliance rules;
• сложных conditional workflows.

Но LoT слабее там, где ответ зависит не от логической формы, а от внешних фактов, retrieval или domain knowledge. Там формализация сама по себе не спасает.

Реализация в промптах

Шаблон LoT-промпта

Ключ к успешной реализации — чёткое разделение на три фазы в системном промпте. Модель должна явно пройти каждую фазу, а не «перескочить» сразу к ответу.

from openai import OpenAI

client = OpenAI()

LOT_SYSTEM_PROMPT = """Ты решаешь задачи методом Logic-of-Thought (LoT).

Каждую задачу обрабатывай строго в три фазы:

## Фаза 1: Извлечение пропозиций
- Выдели ВСЕ атомарные утверждения из задачи.
- Нумеруй: P1, P2, P3...
- Каждая пропозиция = один факт или одно правило.
- Сложные предложения разбивай на простые.

## Фаза 2: Логические выражения
Переведи пропозиции в формальную логику:
- ∀x (для всех x)
- ∃x (существует x)
- → (импликация: если...то)
- ∧ (конъюнкция: и)
- ∨ (дизъюнкция: или)
- ¬ (отрицание: не)
- ↔ (эквиваленция: тогда и только тогда)

## Фаза 3: Верификация рассуждения
- Рассуждай по шагам, ссылаясь на выражения из Фазы 2.
- Каждый вывод обосновывай формальным правилом:
  modus ponens, modus tollens, транзитивность и т.д.
- Если вывод НЕ следует из посылок — явно отмечай это.
- Остерегайся: отрицание антецедента, утверждение консеквента,
  undistributed middle."""


def solve_with_lot(task: str, title: str = "gpt-4o") -> str:
    """Решает задачу методом Logic-of-Thought."""
    response = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": LOT_SYSTEM_PROMPT},
            {"role": "user", "content": task}
        ],
        temperature=0,
        max_tokens=4096,
    )
    return response.choices[0].message.content


result = solve_with_lot(
    "Все менеджеры проекта владеют Jira. "
    "Некоторые владеющие Jira также владеют SQL. "
    "Алексей — менеджер проекта. "
    "Владеет ли Алексей SQL?"
)
print(result)

Логические операторы в контексте LLM

Модели хорошо понимают стандартную логическую нотацию, но для надёжности полезно включить «легенду» прямо в промпт:

На практике модели GPT-4o и Claude хорошо работают с символьной нотацией. Gemini иногда предпочитает текстовую запись — в таком случае явно попросите «используй символы ∀, ∃, →, ∧, ∨, ¬».

Плюсы и минусы

Как понимать границы техники в 2026

LoT не превращает LLM в theorem prover. Это важно: техника помогает дисциплинировать reasoning, но не заменяет формальные solver-ы и не гарантирует корректность только потому, что модель написала несколько символов ∀ и ∃.

Хорошая practical mental model такая:

• LoT улучшает reasoning discipline;
• solver/tool даёт настоящую формальную проверку;
• RAG закрывает factual layer;
• judge/eval проверяет финальный answer.