Model Distillation: как сделать маленькую модель умной

Короткая версия

Distillation особенно полезна, когда:

• teacher уже хорошо решает задачу;
• teacher слишком дорогой для production;
• student нужен для массового inference или edge deployment;
• есть eval set, чтобы измерить acceptable quality loss.

Что получает команда

Teacher-модель отлично делает поддержку по сложным policy кейсам, но слишком дорогая для массового трафика.

1. Distillation — это не только про маленькую модель

Важно не застрять в старой framing “teacher большой, student маленький”.

Практически distillation решает четыре задачи:

• снизить cost;
• снизить latency;
• увеличить throughput;
• перенести сильное поведение teacher-а в более удобный deployment target.

Поэтому student не обязан быть “карманной моделью”. Он может быть просто:

• дешевле;
• быстрее;
• проще для эксплуатации.

2. Teacher-student economics важнее самой методики

Distillation имеет смысл, если:

• teacher noticeably сильнее baseline student;
• teacher слишком дорогой или медленный;
• task достаточно повторяемый;
• student после обучения можно массово использовать.

Если teacher сам нестабилен, плохо закрывает задачу или разница с student мала, distillation часто не окупается.

3. В 2026 distillation часто опирается на synthetic supervision

Современный pipeline обычно такой:

1. teacher решает curated set задач;
2. outputs проходят filtering / grading;
3. student обучается через SFT или другой optimization path;
4. результат сравнивается с baseline student и teacher.

То есть distillation сегодня тесно связана с synthetic data engineering. Teacher outputs становятся не “ответами как есть”, а контролируемым supervision layer.

4. Reasoning distillation — отдельный сильный кейс

Особенно заметен он в reasoning family:

• teacher показывает chain-of-thought-like behavior;
• student учится не только финальному answer, но и более сильным solution patterns;
• итоговая маленькая модель становится ощутимо лучше простого baseline.

DeepSeek distills сделали этот паттерн особенно заметным: качественный reasoning teacher может серьёзно поднять student, если data curation и eval нормальные.

5. OpenAI distillation path делает это более managed

Official OpenAI framing в 2026 полезна тем, что distillation подаётся не как отдельная экзотика, а как часть model optimization toolkit:

• teacher outputs;
• stored completions / training data;
• supervised fine-tuning for student;
• eval loop.

То есть distillation можно понимать как teacher-generated SFT with strong evaluation discipline.

6. Distillation не заменяет RAG и не заменяет preference optimization

Это отдельный слой.

Он не решает:

• freshness of knowledge;
• citations;
• preference alignment by itself;
• retrieval quality.

Он решает другое:

• как приблизить student к teacher behavior на целевой задаче.

Поэтому distillation часто комбинируется с:

• RAG;
• SFT;
• DPO;
• synthetic data pipelines.

7. Как выбирать student

Student нужен не “самый маленький”, а тот, который:

• достаточно дешёв;
• достаточно быстр;
• достаточно совместим с вашей инфраструктурой;
• после distillation ещё держит нужный quality floor.

Это может быть:

• smaller API model;
• SLM;
• open-weight model для local deployment;
• edge-ready model.

8. Самая важная часть — eval against teacher and baseline

Distillation легко романтизировать, но проверяется он просто:

• насколько student стал лучше исходного baseline;
• сколько качества реально потерял относительно teacher;
• окупает ли это cost/latency improvement.

Если student после обучения:

• почти не догнал teacher;
• не сильно улучшился относительно baseline;
• не дал заметного infra-win,

то distillation, вероятно, не стоил усилий.

Healthy distillation loop

pick strong teacher
-> generate supervision on curated tasks
-> filter / grade outputs
-> train student
-> compare to teacher and baseline
-> deploy student with optional teacher fallback

Distillation в 2026 — это не “сжатие ради сжатия”, а production optimization decision.