Model Routing в 2026: fast lane, premium lane и policy routing

Короткая версия

Хороший model routing в 2026 обычно опирается на четыре сигнала:

1. Сложность запроса
2. Цена ошибки
3. Latency / SLA
4. Текущий budget

Типовая схема:

• cheap lane: classification, moderation, extraction, short transforms;
• balanced lane: основной чат, RAG, product copilot;
• premium lane: hard reasoning, high-stakes analysis, сложные agent tasks.

Что routing реально даёт

• снижает среднюю стоимость запроса;
• удерживает p95 latency под контролем;
• не заставляет premium-модель обслуживать trivial traffic;
• позволяет отдельно защищать high-risk flows.

Запрос: `суммаризируй тикет в 3 bullet points`.

Какой routing decision здесь чаще всего разумен?

1. Routing - это policy, а не просто classifier

Самая слабая версия routing-а выглядит так:

• один prompt;
• один дешёвый classifier;
• три if/else ветки по метке easy / medium / hard.

Этого хватает для демо, но production routing обычно шире. Он решает сразу несколько задач:

• cost allocation - кому отдаём дорогие токены;
• capability allocation - где действительно нужен сильный reasoning;
• risk allocation - какие запросы нельзя оставлять на fragile lane;
• traffic shaping - как переживать spikes, throttling и provider incidents.

То есть router - это часть operational policy, а не косметическая оптимизация промпта.

2. Какие слои routing обычно есть

Практически полезно думать не "много моделей вообще", а несколько явных lanes:

Эта схема работает лучше, чем хаотичный набор "возьмём ещё одну модель, потому что она вроде хорошая".

3. Какие сигналы реально стоит использовать

Сложность задачи

Не every long prompt является hard case. Полезные признаки сложности:

• нужен multi-step reasoning;
• много ограничений и условий;
• вопрос требует сравнения альтернатив;
• baseline lane часто даёт low-confidence answer;
• downstream eval показывает высокий regression rate на похожих кейсах.

Цена ошибки

Один и тот же запрос по форме может быть дешёвым или дорогим по последствиям.

Пример:

• "сделай короткий summary meeting notes" - low risk;
• "подготовь клиенту ответ по refund policy" - medium risk;
• "сформируй финальный совет по legal/compliance кейсу" - high risk.

Routing обязан видеть не только lexical форму запроса, но и его business weight.

SLA и latency

Иногда premium lane выдаёт лучший ответ, но продукту важнее стабильный отклик.

Это особенно заметно в:

• support widgets;
• high-volume copilots;
• internal tools с интерактивным UI;
• multi-agent loops, где каждый шаг умножает latency.

Budget pressure

Зрелый routing умеет деградировать gracefully:

• при budget exhaustion меньше запросов уходит в premium;
• часть low-priority workloads переводится в batch;
• expensive optional checks выключаются раньше, чем core path.

4. Когда нужен escalation route

Самый полезный паттерн - не угадывать сложность идеально с первого раза, а уметь эскалировать позже.

Например:

1. balanced lane делает первый проход;
2. система видит low confidence, schema failure или tool ambiguity;
3. кейс переходит в premium reasoning path;
4. trace связывает обе попытки как один workflow.

Это часто лучше, чем сразу слать весь трафик в дорогую модель.

5. Что чаще всего ломает routing

Correlated failures

Две модели могут ошибаться по-разному, а могут одинаково. Если cheap lane и premium lane делят один и тот же failure mode, routing создаёт иллюзию контроля без реального gain.

Routing churn

Система постоянно перекидывает похожие запросы между lanes, потому что правила слишком чувствительны к длине prompt, surface wording или noisy confidence signal.

Inconsistent UX

Если разные lanes отвечают в разном стиле, с разной длиной и разной policy discipline, пользователь чувствует скачки качества даже там, где answer technically acceptable.

Слепая вера в self-confidence

Модель может быть уверена и системно неправа. Поэтому routing по self-report без eval validation обычно слаб.

6. Что полезно мерить

Минимальный routing dashboard обычно включает:

• route distribution по сценариям;
• cost per route;
• p50 / p95 latency per route;
• escalation rate;
• judge score или task success per route;
• fallback activation rate;
• disagreement между lanes на audit sample.

Отдельно полезно смотреть quality delta per extra dollar. Иначе команда видит, что premium lane "лучше", но не понимает, насколько этот gain вообще окупается.

Минимальная routing policy

routes:
  - name: cheap_transform
    if:
      task_type: [classification, extraction, rewrite]
      risk: low
      max_context_tokens: 6000
    model: gpt-5.4-nano

  - name: balanced_default
    if:
      task_type: [qa, support, rag]
      risk: [low, medium]
    model: gpt-5.4-mini

  - name: premium_reasoning
    if:
      risk: high
      hard_case: true
    model: gpt-5.4

Простой escalation flow

def route_request(req):
    if req.risk == "high":
        return "premium"
    if req.task_type in {"classification", "rewrite"} and req.context_tokens < 6000:
        return "cheap"
    return "balanced"

def maybe_escalate(result):
    if result.schema_valid is False:
        return True
    if result.confidence < 0.45:
        return True
    if result.tool_failures > 0:
        return True
    return False

Практический совет: логируйте не только selected_route, но и why_selected. Потом именно это поле помогает понять, router реально работает по осознанной политике или просто повторяет шумный heuristic.