Prometheus 2

Коротко

Prometheus 2 полезен, когда:

• нужны и direct scores, и pairwise judgments;
• важны custom rubrics;
• judge должен быть open-source;
• evaluation stack должен быть единым и воспроизводимым.

Используй одну evaluator model для двух режимов: сначала выставь direct score по rubric, затем сравни этот ответ с альтернативой в pairwise формате.

Это техника про unified open evaluation layer.

Чем Prometheus 2 отличается от предыдущей волны judge models

Многие evaluator models хороши либо в direct assessment, либо в pairwise judging. Prometheus 2 делает ставку на более универсальную judge role:

• direct assessment по шкале;
• pairwise ranking;
• custom criteria;
• improved agreement with strong and human judges.

Это особенно полезно для shared evaluation platforms.

Когда техника особенно полезна

Prometheus 2 хорошо подходит для:

• benchmark platforms;
• model and prompt comparison;
• offline regression analysis;
• application-specific scoring systems;
• open evaluation pipelines at scale.

Если judge нужен только эпизодически и в одном формате, полная универсальность может быть лишней.

Где unified evaluator реально экономит сложность

На практике direct assessment и pairwise ranking часто живут в одном продукте одновременно. Например:

• pairwise нужен, чтобы выбрать лучший prompt или model variant;
• direct score нужен, чтобы следить за regressions по rubric во времени;
• один и тот же критерий должен работать и в A/B сравнении, и в weekly quality report.

Если под каждый режим держать отдельный evaluator stack, быстро появляется drift:

• rubric wording расходится между pipelines;
• calibration становится несопоставимой;
• disagreement cases приходится разбирать в двух разных системах.

Prometheus 2 полезен именно там, где команда хочет не "ещё один judge", а единый слой оценки с общей rubric semantics.

Ограничения

Универсальный evaluator может не быть лучшим в каждом отдельном формате. Ещё одна проблема в том, что pairwise and direct modes могут вести себя по-разному даже при одной rubric.

Есть и более тонкий риск: direct mode часто стимулирует judge аккуратно распределять баллы по шкале, а pairwise mode заставляет делать более жёсткий winner selection. Если это не учитывать, команда может ошибочно читать disagreement как "нестабильность модели", хотя на деле это разная geometry у самих judge tasks.

Поэтому unified evaluator всё равно нужно тестировать по каждому режиму отдельно.

Почему техника актуальна в 2026

Evaluation infrastructure становится всё сложнее, а fragmentation judge tools мешает. Prometheus 2 важен как попытка собрать несколько judge use cases в одном open evaluator.

Это делает технику полезной для teams building evaluation as a platform.

Техническая реализация

const direct = await evaluator(directAssessmentPrompt(rubric, sample))
const pairwise = await evaluator(pairwisePrompt(rubric, sampleA, sampleB))

Практический совет: храните калибровку отдельно по direct и pairwise режимам. Один и тот же evaluator может быть сильным в одном режиме и средним в другом.

Ещё полезно сохранять disagreement bucket: кейсы, где direct score почти равный, а pairwise verdict уверенный, или наоборот. Именно там обычно всплывают дефекты rubric design.