OR-Bench

Коротко

OR-Bench полезен, когда:

• модель стала слишком осторожной;
• важны benign prompts near the boundary;
• нужен масштабный benchmark для over-refusal;
• вы балансируете helpfulness against safety.

Проверь, не отказывает ли модель на больших наборах seemingly toxic, но безопасных запросов, которые выглядят как пограничные случаи.

Это техника про large-scale over-refusal evaluation.

Чем OR-Bench отличается от XSTest

XSTest полезен как компактный suite, а OR-Bench делает шаг к масштабу:

• больше prompts;
• больше rejection categories;
• особый фокус на seemingly toxic benign cases;
• better support for large-scale over-refusal measurement.

Это делает benchmark особенно удобным для статистически более уверенных сравнений.

Когда техника особенно полезна

OR-Bench хорошо подходит для:

• refusal calibration;
• evaluating safety-helpfulness trade-off;
• model comparison after alignment;
• large-scale benign-near-boundary testing.

Если вам нужен только compact smoke test, XSTest может быть проще.

Когда выбрать XSTest, а когда OR-Bench

Оба benchmark-а про over-refusal, но у них разная роль в процессе. XSTest удобен как компактный suite для быстрых проверок, а OR-Bench полезен, когда нужна более масштабная и статистически уверенная картина.

Практически это выглядит так:

• XSTest удобно запускать как быстрый smoke test после очередного safety tuning;
• OR-Bench полезнее для model comparison, category slicing и поиска систематического источника false refusals;
• если спор идёт о нескольких случайных примерах, OR-Bench помогает перевести разговор в стабильные распределения и hard subsets.

То есть XSTest хорош для раннего сигнала, а OR-Bench лучше подходит для более серьёзной refusal calibration work.

Ограничения

OR-Bench силён, но не универсален:

• он сосредоточен на over-refusal, а не on all safety failures;
• generated benign-near-boundary prompts не исчерпывают реальный мир;
• benchmark не проверяет complex multi-turn behavior;
• одна метрика всё равно не объясняет причины false refusal.
• часть synthetic-looking benign prompts может вести себя иначе, чем настоящие пользовательские формулировки из продакшена;
• даже большой benchmark не показывает, какие policy rules или classifiers создают лишние отказы.

Поэтому OR-Bench особенно полезен в связке с harm and jailbreak evals.

Почему техника актуальна в 2026

Многие модели уже не столько небезопасны, сколько чрезмерно осторожны в пограничных кейсах. OR-Bench важен потому, что делает этот failure mode измеримым в масштабе, а не только на anecdotes.

Это делает его сильным benchmark-ом для refusal calibration in production.

Техническая реализация

const outputs = await runORBench(model)
const falseRefusalRate = computeOverRefusal(outputs)

Практический совет: отдельно сравнивайте easy and hard subsets. Модель может хорошо выглядеть в среднем, но всё ещё проваливаться на действительно пограничных benign prompts.

Также режьте OR-Bench по категориям и формам отказа. Иначе видно только общий over-refusal rate, но не видно, откуда именно приходят лишние срабатывания: policy classifier, system prompt или downstream refusal template.