Alignment (выравнивание AI)
Процесс обучения AI-модели действовать в соответствии с намерениями человека, быть полезной, честной и безопасной.
Alignment — это процесс обучения AI-модели действовать в соответствии с целями, ценностями и ожиданиями человека. Задача alignment — сделать модель полезной, честной и безопасной.
Как это работает
После базового обучения на текстах модель умеет генерировать текст, но не знает, как быть полезным помощником. Alignment добавляет это понимание через несколько этапов:
- Instruction tuning — модель учат следовать инструкциям на примерах
- RLHF (Reinforcement Learning from Human Feedback) — люди оценивают ответы, и модель учится давать те, что получают более высокую оценку
- Constitutional AI — модель учат следовать набору принципов (подход Anthropic)
Три кита alignment
| Принцип | Что значит | Пример |
|---|---|---|
| Полезность (Helpful) | Модель стремится решить задачу пользователя | Даёт точный, полный ответ на вопрос |
| Честность (Honest) | Модель не выдумывает факты | Говорит «я не знаю» вместо придумывания ответа |
| Безопасность (Harmless) | Модель не причиняет вреда | Отказывается давать опасные инструкции |
Почему это сложно
Иногда принципы конфликтуют: пользователь просит потенциально опасную информацию — модель должна быть полезной, но и безопасной. Найти правильный баланс — одна из главных задач исследователей AI.
Связанные термины
- RLHF — метод обучения через обратную связь от людей
- Guardrails — технические механизмы ограничения поведения модели
- Jailbreak — попытки обойти результаты alignment
- Evaluation — оценка, насколько хорошо работает alignment