AgentBench

Коротко

AgentBench полезен, когда:

• модель действует, а не просто отвечает;
• важны state tracking и planning;
• продукт использует tools или environment interaction;
• нужен benchmark для agent success rate.

Оцени систему в интерактивных задачах, где она должна наблюдать состояние среды, выбирать действия и достигать цели за ограниченное число шагов.

Это техника про interactive agent evaluation.

Чем AgentBench отличается от обычных benchmark-ов

В text-only benchmarks модель в основном генерирует ответ. В AgentBench система должна:

• интерпретировать state;
• выбирать action;
• помнить history;
• корректировать план после feedback.

Это делает benchmark гораздо ближе к реальному agent loop.

Когда техника особенно полезна

AgentBench хорошо подходит для:

• tool-using assistants;
• autonomous agents;
• web and API workflows;
• multi-step environment tasks.

Если система почти не делает действий и в основном генерирует текст, этот benchmark может быть менее полезен, чем MT-Bench или IFEval.

Что AgentBench даёт сверх обычного tool-use теста

Многие команды уже проверяют agents на уровне:

• выбрал ли правильный tool;
• вызвал ли его с правильными аргументами;
• выполнил ли простой сценарий.

AgentBench полезен тем, что ставит задачу выше. Он спрашивает, может ли система вести себя как агент в целой среде:

• корректно интерпретировать наблюдение;
• удерживать progression toward goal;
• восстанавливаться после неудачного шага;
• не терять state между ходами.

Это особенно важно, потому что агент часто ломается не в первой action decision, а в середине траектории, когда локально разумные шаги перестают складываться в успешный outcome.

Ограничения

AgentBench сложнее в запуске и интерпретации, чем text-only evals. Кроме того:

• environment design влияет на результат;
• агент может overfit to benchmark protocol;
• один набор задач не покрывает всё разнообразие tool use;
• высокий success rate не гарантирует safety.

Есть и важная инженерная проблема: score часто отражает не только модель, но и agent wrapper. Memory policy, retry strategy, parsing robustness и tool adapters могут менять результат почти так же сильно, как сама LLM.

Поэтому benchmark лучше использовать как часть broader agent evaluation suite.

Почему техника актуальна в 2026

Модели всё чаще работают как action-taking systems, а не как text generators. AgentBench сохраняет ценность именно потому, что оценивает этот сдвиг напрямую.

Это делает его полезным ориентиром для команд, которые строят прикладных агентов, а не только чат-ботов.

Техническая реализация

const trajectory = await runAgentInEnvironment(agent, task)
const success = evaluateOutcome(trajectory)

Практический совет: смотрите не только на final success, но и на action efficiency, recovery after failure и stability across seeds. Агент может иногда решать задачу, но делать это слишком хрупко.

Отдельно полезно вести failure buckets: wrong plan, bad state tracking, weak tool choice, non-recovery after error. Иначе AgentBench превращается в один непрозрачный success number.