Mr. TyDi

Коротко

Mr. TyDi полезен, когда:

• вы оцениваете dense retrieval;
• важны typologically diverse languages;
• продукт не ограничен английским;
• нужен компактный multilingual benchmark.

Проверь dense retrieval model на нескольких typologically diverse языках и оцени, как сильно English-trained assumptions ломаются вне high-resource setting.

Это техника про multilingual dense retrieval evaluation.

Чем Mr. TyDi отличается от более широких multilingual benchmark-ов

MIRACL шире, а Mr. TyDi делает акцент на конкретной dense retrieval problem:

• mono-lingual ad hoc retrieval;
• strong focus on dense representations;
• typological diversity;
• компактный, но очень показательный setup.

Из-за этого benchmark особенно полезен для быстрого dense retrieval diagnostics.

Когда техника особенно полезна

Mr. TyDi хорошо подходит для:

• multilingual dense retrievers;
• benchmarking bi-encoders;
• early-stage cross-lingual diagnostics;
• comparing sparse vs dense performance outside English.

Если нужен very broad multilingual benchmark with more languages and tasks, MIRACL может быть полезнее.

Почему Mr. TyDi до сих пор полезен рядом с MIRACL

Хотя MIRACL шире, Mr. TyDi остаётся ценным именно как focused benchmark для dense retrieval. Его сила в том, что он не пытается быть всем сразу:

• не распыляется на слишком много task types;
• быстро показывает, держится ли dense retriever вне English;
• хорошо вскрывает типологические провалы без лишнего benchmark шума.

Поэтому Mr. TyDi особенно полезен в ранней диагностике. Если dense model плохо выглядит уже здесь, обычно нет смысла сразу интерпретировать более широкий multilingual story. Сначала нужно понять, выдерживает ли retriever базовый перенос на разные языковые структуры.

Ограничения

Mr. TyDi хорош, но:

• язык coverage уже, чем у новых multilingual benchmarks;
• benchmark фокусируется на dense retrieval;
• domain spread ограничен;
• он не заменяет product corpus evaluation.

Нужно помнить и о том, что Mr. TyDi оценивает mostly mono-lingual retrieval. Если реальный продукт живёт в cross-lingual режиме, где запрос и документы часто на разных языках, потребуется отдельный слой evals.

Поэтому его лучше использовать как targeted dense retrieval benchmark.

Почему техника актуальна в 2026

Даже сейчас многие dense retrieval models остаются English-first по факту, а не по обещанию. Mr. TyDi важен потому, что быстро и честно показывает этот разрыв.

Это делает его отличным compact benchmark-ом для multilingual dense retrieval teams.

Техническая реализация

const scores = await runMrTyDi(denseRetriever)
const report = compareLanguages(scores)

Практический совет: не ограничивайтесь average. В multilingual dense retrieval именно outlier languages чаще всего вскрывают фундаментальные проблемы модели.

Хорошая практика: отдельно отмечать, где dense retriever проигрывает sparse baseline. Такие кейсы обычно быстрее всего показывают, что multilingual embeddings пока не держат нужную языковую структуру.