SORRY-Bench

Коротко

SORRY-Bench полезен, когда:

• нужна fine-grained refusal evaluation;
• важны topic balance и linguistic variation;
• вы хотите оценивать refusal behavior системно;
• нужен benchmark выше уровня простого harmful prompt list.

Проверь refusal behavior модели по детализированной taxonomy unsafe topics и на разных языковых вариациях, а не только на одном списке harmful prompts.

Это техника про fine-grained refusal evaluation.

Чем SORRY-Bench отличается от более простых refusal наборов

Вместо грубого списка unsafe prompts SORRY-Bench делает акцент на:

• более детальной topic taxonomy;
• class balance;
• linguistic augmentations;
• efficient evaluation design.

Это помогает измерять refusal behavior более справедливо и информативно.

Когда техника особенно полезна

SORRY-Bench хорошо подходит для:

• detailed refusal diagnostics;
• multilingual and style-sensitive safety evals;
• comparing judge designs;
• auditing topic coverage in safety testing.

Если вам нужен только быстрый baseline refusal check, benchmark может быть тяжелее необходимого.

Где SORRY-Bench особенно помогает с калибровкой

Простого refusal rate мало, когда команда пытается тонко настроить safeguards. SORRY-Bench полезен именно в момент, когда вопрос уже не в том, "отказывает ли модель вообще", а в том, делает ли она это равномерно по темам, переформулировкам и уровням риска.

Практический пример:

• модель уверенно отказывает на canonical unsafe prompts;
• но начинает помогать, если тот же риск описан косвенно или в другой языковой форме;
• или наоборот, становится слишком жёсткой на некоторых topic clusters.

SORRY-Bench делает такие перекосы видимыми и помогает переводить discussion о refusal policy из общего score в конкретные slices.

Ограничения

SORRY-Bench глубже многих альтернатив, но:

• он всё ещё сосредоточен на refusal side;
• benchmark не заменяет live adversarial red teaming;
• topic taxonomy не исчерпывает весь harmful space;
• benchmark complexity выше, чем у базовых suites.
• хороший refusal coverage ещё не означает, что модель не делает partial harmful leakage в длинных ответах;
• topic-balanced benchmark не гарантирует такую же сбалансированность на реальном product traffic.

Поэтому SORRY-Bench особенно хорош как diagnostic tool for mature safety teams.

Почему техника актуальна в 2026

По мере усложнения safeguards стало понятно, что простые refusal benchmark-ы недостаточны. SORRY-Bench важен потому, что помогает измерять refusal behavior более тонко и ближе к реальным языковым вариациям.

Это делает его сильным инструментом для calibration-heavy safety work.

Техническая реализация

const outputs = await runSorryBench(model)
const breakdown = analyzeRefusalsByTopicAndVariation(outputs)

Практический совет: держите отдельный slice по linguistic augmentations. Иногда именно он показывает, что safety policy держится на canonical wording, а не на реальном понимании риска.

Также полезно различать clean refusal, refusal with leakage и safe redirect. Эти режимы часто смешиваются в одну оценку, хотя для product policy и incident triage они означают совершенно разный уровень риска.