API-Bank

Коротко

API-Bank полезен, когда:

• вы строите tool-augmented agents;
• нужно измерять tool-use quality;
• важно понять, где именно ломается агент;
• есть большой набор APIs и сценариев.

Оцени tool-use задачу по этапам: план, выбор API, параметры вызова, обработка ответа. Не своди всё к одному бинарному success/fail.

Это паттерн про decomposition of tool-use evaluation.

Чем API-Bank полезен как техника мышления

Многие команды оценивают агента слишком грубо:

• сработало или нет;
• ответил или нет;
• вызвал API или нет.

API-Bank показывает более полезную декомпозицию:

• умеет ли агент спланировать;
• умеет ли найти нужный API;
• умеет ли правильно вызвать;
• умеет ли использовать результат.

Это намного лучше для диагностики и улучшения.

Когда техника особенно полезна

API-Bank mindset хорошо подходит для:

• benchmarking tool agents;
• regression testing;
• fine-grained evaluation of planners;
• training data design for API use;
• enterprise platforms с большими tool registries.

Если инструментов мало и сценарии тривиальны, такая детализация может быть лишней.

Ограничения

Сильный benchmark сам по себе не делает агента лучше. Кроме того, coverage benchmark может отставать от реальной сложности production APIs и новых сценариев.

Но даже с этим ограничением granular evaluation почти всегда лучше одной aggregate метрики.

Почему техника актуальна в 2026

Tool-use становится инфраструктурным навыком LLM-систем. Поэтому evaluation вокруг APIs уже нельзя считать второстепенной задачей. API-Bank важен как способ мыслить о tool use системно и измеримо.

Это делает технику полезной не только исследователям, но и продуктовым командам.

Техническая реализация

type ToolUseEval = {
  planning: number
  apiSelection: number
  invocation: number
  resultUse: number
}

Практический совет: не смешивайте planning failures и calling failures в один label. Эти ошибки требуют разных фиксов.