RAG в продакшене

Ты собрал RAG-прототип, он работает на демо, отвечает на вопросы по твоим документам — и кажется, что до продакшена остался один шаг. На практике этот «один шаг» превращается в месяцы работы. Прототип не умеет оценивать качество своих ответов, не знает, когда он галлюцинирует, и стоит в десятки раз дороже, чем мог бы. Этот курс — про то, как преодолеть разрыв между «работает на моём ноутбуке» и «работает в продакшене для тысяч пользователей».

Мы начнём с оценки качества — самой недооценённой части RAG-пайплайна. Ты узнаешь, как измерять faithfulness, relevance и recall с помощью фреймворка RAGAS, как настроить автоматическую оценку без ручной разметки и как Corrective RAG позволяет системе самостоятельно обнаруживать и исправлять плохие результаты поиска. Без метрик ты не знаешь, работает твой RAG или просто красиво выглядит.

Затем перейдём к продвинутому retrieval. Базовый векторный поиск — это только начало: на реальных данных он теряет точность, не справляется с многозначными запросами и не масштабируется. Ты освоишь ColBERT и механизм late interaction для точного token-level matching, агентный RAG для сложных запросов, требующих нескольких шагов поиска, и structured outputs для предсказуемого формата ответов.

Наконец, разберём операционную сторону: сколько на самом деле стоит каждый запрос к RAG-системе, как prompt caching может сократить расходы на 50-90%, и как построить observability, чтобы видеть не только ошибки, но и деградацию качества в реальном времени. Курс рассчитан на разработчиков и ML-инженеров, которые уже знакомы с основами RAG и готовы вывести свою систему на production-уровень.