MTEB

Коротко

MTEB полезен, когда:

• вы сравниваете embedding models;
• важна multi-task transferability;
• нужны retrieval and beyond retrieval metrics;
• выбираете foundation embedding для платформы.

Оцени embedding model не на одной задаче, а на большом наборе retrieval, reranking, STS и clustering benchmarks.

Это техника про multi-task embedding evaluation.

Чем MTEB отличается от retrieval benchmark-ов

Retrieval benchmark-ы вроде BEIR проверяют одну важную ось. MTEB шире:

• несколько классов задач;
• разные datasets and metrics;
• focus on text representations;
• удобный leaderboard для embedding models.

Это делает его полезным именно как benchmark for representation quality.

Когда техника особенно полезна

MTEB хорошо подходит для:

• selecting embedding foundation models;
• comparing open and proprietary embeddings;
• monitoring regression after tuning;
• building shared vector infrastructure.

Если вы решаете одну узкую retrieval-задачу, MTEB может быть избыточно широким.

Почему MTEB average часто читают неправильно

Самая частая ошибка при выборе embeddings по MTEB: взять одну верхнюю строчку leaderboard и считать, что это автоматически лучший выбор для продукта. На практике MTEB смешивает разные family задач:

• retrieval;
• reranking;
• semantic similarity;
• clustering;
• classification.

Но продукт обычно живёт не во всех этих режимах сразу. Например:

• для RAG-платформы retrieval важнее clustering;
• для semantic deduplication важнее STS и pair classification;
• для shared embeddings platform важен уже именно multi-task balance.

Из-за этого MTEB особенно полезен не как "таблица лучших моделей", а как способ понять, в чём именно embedding универсален, а в чём только выглядит сильным из-за удачного average.

Ограничения

MTEB широк, но именно из-за этого легко вводит в соблазн жить по одному average score. Кроме того:

• не все tasks equally relevant to your product;
• benchmark mixes many domains and objectives;
• leaderboard chasing может вести к generic optimization;
• domain-specific retrieval всё равно требует своих evals.

Есть и инфраструктурная ловушка: embeddings с хорошим MTEB профилем могут отличаться по latency, dimensionality, memory footprint и цене настолько сильно, что benchmark advantage не переживает production constraints.

Поэтому MTEB особенно полезен как representation benchmark, а не как единственный KPI.

Почему техника актуальна в 2026

Чем больше embedding models стало на рынке, тем нужнее общий multi-task benchmark. MTEB остаётся таким benchmark-ом и помогает быстро сравнивать универсальность текстовых представлений.

Это делает его главным reference point для embedding model selection.

Техническая реализация

const report = await runMTEB(embeddingModel)
const breakdown = summarizeByTaskFamily(report)

Практический совет: если продукт retrieval-heavy, не давайте MTEB average переопределять retrieval-specific metrics. Общая сила embeddings и сила в retrieval могут расходиться.

Ещё полезно хранить вместе с benchmark профилем операционные метрики: размер вектора, throughput, cost per million embeddings. Иначе выбор модели будет слишком академическим.