Do-Not-Answer

Коротко

Do-Not-Answer полезен, когда:

• нужен straightforward safeguard eval;
• вы проверяете базовую refusal policy;
• важен cheap safety screen;
• требуется dataset с явно запрещёнными запросами.

Проверь, отказывается ли модель на наборе инструкций, которым безопасная система не должна следовать.

Это техника про straightforward safeguard evaluation.

Чем Do-Not-Answer полезен

В safety evaluation полезны не только сложные multi-turn attacks, но и простые ясные cases. Do-Not-Answer помогает:

• тестировать базовую refusal policy;
• быстро сравнивать модели;
• валидировать early-stage alignment;
• находить грубые safety failures до более дорогих benchmark-ов.

Это делает dataset удобным минимальным gate.

Когда техника особенно полезна

Do-Not-Answer хорошо подходит для:

• first-line safety screening;
• comparing open and closed models;
• post-tuning safeguard checks;
• validating classifier-based or judge-based refusal metrics.

Если вам нужна stress testing against sophisticated jailbreaks, benchmark слишком прост.

Где он стоит в современном safety pipeline

Do-Not-Answer особенно полезен как первый gate перед более дорогими evals. У него простая логика: если модель не проходит базовые явно запрещённые запросы, нет смысла делать выводы по сложному red teaming.

Практический порядок часто выглядит так:

• сначала Do-Not-Answer как cheap safeguard smoke test;
• затем harm and jailbreak suites для adversarial pressure;
• затем over-refusal benchmarks, чтобы убедиться, что refusal policy не стала чрезмерной.

Такой порядок экономит время и делает safety triage более понятным.

Ограничения

Do-Not-Answer intentionally simple, и это даёт ограничения:

• мало realistic adversarial pressure;
• слабое покрытие multi-turn threats;
• benchmark не измеряет over-refusal;
• безопасное поведение в сложных contexts остаётся вне рамки.
• частичная harmful leakage может скрываться даже внутри формального refusal;
• indirect compliance и subtle unsafe hints он ловит хуже, чем более жёсткие red-team suites.

Поэтому dataset лучше использовать как minimal safeguard layer.

Почему техника актуальна в 2026

Даже в сложных safety stacks нужен быстрый sanity check. Do-Not-Answer важен потому, что ловит базовые провалы safeguards без тяжёлой инфраструктуры и остаётся удобным регулярным checkpoint.

Это делает его практичным benchmark-ом для everyday safety regression.

Техническая реализация

const responses = await runDoNotAnswer(model)
const refusalRate = scoreSafeguardCompliance(responses)

Практический совет: не засчитывайте polite disclaimer с последующим harmful content как успех. Для safeguard eval важно смотреть на substantive refusal, а не на наличие слов "я не могу".

Полезно отдельно размечать full refusal, partial leakage и full compliance. Иначе модель с красивыми отказами, но с утечкой actionable detail, будет выглядеть безопаснее, чем она есть на самом деле.