MAIR

Коротко

MAIR полезен, когда:

• вы оцениваете instruction-tuned retrievers;
• retrieval tasks различаются по правилам;
• нужен benchmark for long-tail IR tasks;
• важна instruction following in ranking.

Оцени retriever на задачах, где релевантность задаётся не только query, но и явной instruction about retrieval intent.

Это техника про instructed retrieval evaluation.

Чем MAIR отличается от классических retrieval benchmark-ов

Классический retrieval benchmark в основном оценивает query-to-document matching. MAIR добавляет:

• явные instructions;
• long-tail task diversity;
• heterogeneous IR domains;
• поддержку оценки и retrievers, и rerankers.

Это делает benchmark особенно актуальным для instruction-tuned systems.

Пример, где instruction меняет саму релевантность

Один и тот же query может требовать разных документов в зависимости от task framing.

Например, запрос выглядит как:

• "Лучшие способы сократить latency в RAG"

Без instruction retriever обычно тянется к самым общим материалам про latency optimization. Но если instruction звучит как:

• "найди практические production tactics, а не академические обзоры"

то релевантность уже меняется. Более ценными становятся:

• deployment guides;
• engineering postmortems;
• production playbooks.

Именно этот сдвиг MAIR и помогает измерять: понимает ли retrieval system не только тему запроса, но и сам retrieval intent.

Когда техника особенно полезна

MAIR хорошо подходит для:

• instruction-tuned embeddings;
• rerankers with task prompts;
• long-tail IR benchmarking;
• evaluating more general retrieval foundations.

Если ваш pipeline не использует instructions at all, часть ценности benchmark-а теряется.

Ограничения

MAIR силён, но:

• benchmark сложен и широк;
• instruction phrasing itself can matter;
• не все product tasks требуют instructed retrieval;
• высокие scores не отменяют need for corpus-specific validation.

Поэтому MAIR лучше использовать как benchmark for instruction-aware retrieval systems.

Почему техника актуальна в 2026

Retrieval increasingly becomes instruction-aware. MAIR важен потому, что измеряет именно этот сдвиг: от simple semantic retrieval к retrieval that follows explicit task framing.

Это делает его особенно полезным для next-generation embedding and reranking systems.

Техническая реализация

const score = await runMAIR(retriever, instructionTemplates)
const breakdown = summarizeByTaskType(score)

Практический совет: тестируйте robustness to instruction paraphrases. Если performance резко меняется от phrasing, instruction-tuned retrieval всё ещё слишком хрупок.

Полезно также отдельно сравнивать:

• query only;
• query + short instruction;
• query + detailed instruction.

Если модель почти не меняет ranking между этими режимами, instruction-awareness может быть скорее заявленной, чем реальной.