Chain of Density (CoD)

from openai import OpenAI

client = OpenAI()

def chain_of_density(
    article: str,
    num_iterations: int = 5,
    summary_length: int = 80,
) -> list[dict]:
    """
    Chain of Density Prompting:
    итеративная суммаризация с нарастающей плотностью.
    Возвращает список резюме от sparse к dense.
    """
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": (
                    "Ты — эксперт по суммаризации. "
                    "Выполни Chain of Density: напиши "
                    f"{num_iterations} резюме статьи, "
                    f"каждое длиной ~{summary_length} слов.\n\n"
                    "Правила:\n"
                    "1. Резюме 1 — разреженное: общие "
                    "фразы, 1-2 ключевые сущности.\n"
                    "2. Каждое следующее резюме: добавь "
                    "1-3 пропущенные КЛЮЧЕВЫЕ СУЩНОСТИ "
                    "(имена, числа, даты, метрики, "
                    "названия), НЕ увеличивая длину.\n"
                    "3. Убирай воду и общие фразы, "
                    "заменяй конкретикой.\n"
                    "4. Длина каждого резюме ~"
                    f"{summary_length} слов — строго.\n\n"
                    "Формат ответа для каждой итерации:\n"
                    "### Резюме N\n"
                    "Добавленные сущности: ...\n"
                    "Текст: ..."
                ),
            },
            {
                "role": "user",
                "content": f"Статья:\n{article}",
            },
        ],
        temperature=0.3,
    )

    return response.choices[0].message.content


article_text = """
Яндекс объявил о запуске YandexGPT 4 —
новой версии языковой модели с поддержкой
контекстного окна в 32 000 токенов...
"""

result = chain_of_density(article_text)
print(result)

import anthropic

client = anthropic.Anthropic()

def chain_of_density_iterative(
    article: str,
    num_iterations: int = 5,
    summary_length: int = 80,
) -> list[dict]:
    """
    Chain of Density с отдельным вызовом
    на каждую итерацию. Позволяет контролировать
    процесс и останавливать при достижении
    оптимальной плотности.
    """
    summaries = []

    # Итерация 1: разреженное резюме
    first_msg = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=512,
        messages=[
            {
                "role": "user",
                "content": (
                    f"Статья:\n{article}\n\n"
                    f"Напиши общее резюме длиной "
                    f"~{summary_length} слов. "
                    "Используй 1-2 ключевые сущности. "
                    "Остальное — общими словами."
                ),
            }
        ],
    )

    current_summary = first_msg.content[0].text
    summaries.append({
        "iteration": 1,
        "summary": current_summary,
        "added_entities": [],
    })

    # Итерации 2-N: уплотнение
    for i in range(2, num_iterations + 1):
        msg = client.messages.create(
            model="claude-sonnet-4-20250514",
            max_tokens=512,
            messages=[
                {
                    "role": "user",
                    "content": (
                        f"Оригинальная статья:\n{article}\n\n"
                        f"Текущее резюме:\n"
                        f"{current_summary}\n\n"
                        "Задача: перепиши резюме, "
                        "добавив 1-3 пропущенные "
                        "ключевые сущности (имена, "
                        "числа, факты, метрики). "
                        "НЕ увеличивай длину — замени "
                        "общие фразы конкретикой.\n\n"
                        f"Длина: ~{summary_length} слов.\n"
                        "Сначала перечисли добавленные "
                        "сущности, затем новое резюме."
                    ),
                }
            ],
        )

        response_text = msg.content[0].text
        current_summary = response_text
        summaries.append({
            "iteration": i,
            "summary": current_summary,
        })

    return summaries


article = "..."
results = chain_of_density_iterative(article)
for s in results:
    print(f"\n--- Итерация {s['iteration']} ---")
    print(s["summary"])

import json
from openai import OpenAI

client = OpenAI()

def cod_structured(
    article: str,
    num_iterations: int = 5,
    summary_length: int = 80,
) -> list[dict]:
    """
    Chain of Density со структурированным выводом.
    Возвращает JSON с сущностями и метриками
    плотности для каждой итерации.
    """
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": (
                    "Выполни Chain of Density "
                    f"({num_iterations} итераций, "
                    f"~{summary_length} слов каждая).\n\n"
                    "Верни JSON:\n"
                    "{\n"
                    '  "summaries": [\n'
                    "    {\n"
                    '      "iteration": 1,\n'
                    '      "added_entities": '
                    '["entity1", ...],\n'
                    '      "total_entities": 2,\n'
                    '      "summary": "текст",\n'
                    '      "word_count": 80\n'
                    "    }\n"
                    "  ]\n"
                    "}\n\n"
                    "Каждая итерация добавляет 1-3 "
                    "ключевые сущности из статьи, "
                    "не увеличивая длину резюме."
                ),
            },
            {
                "role": "user",
                "content": f"Статья:\n{article}",
            },
        ],
        temperature=0.3,
        response_format={"type": "json_object"},
    )

    result = json.loads(
        response.choices[0].message.content
    )

    # Метрика плотности: сущности / слова
    for s in result["summaries"]:
        s["density"] = round(
            s["total_entities"] / s["word_count"],
            3,
        )

    return result["summaries"]


summaries = cod_structured("текст статьи...")

for s in summaries:
    print(
        f"Итерация {s['iteration']}: "
        f"{s['total_entities']} сущностей, "
        f"плотность {s['density']}"
    )
    print(f"  {s['summary'][:100]}...\n")