Галлюцинации (Hallucinations)
Ситуация, когда языковая модель уверенно генерирует ложную, выдуманную или неточную информацию, выдавая её за факт.
Галлюцинации — это случаи, когда языковая модель генерирует информацию, которая выглядит правдоподобно, но на самом деле является ложной, выдуманной или неточной.
Как это работает
Языковая модель не «знает» факты — она предсказывает наиболее вероятное продолжение текста. Иногда это приводит к ошибкам:
- Выдуманные факты — модель может назвать несуществующую книгу или статью
- Ложные цитаты — приписать человеку слова, которых он не говорил
- Несуществующие ссылки — сгенерировать URL, который не существует
- Смешение фактов — соединить реальные данные в неправильную комбинацию
Почему модели галлюцинируют
| Причина | Пояснение |
|---|---|
| Нет доступа к фактам | Модель генерирует текст по вероятности, а не ищет в базе знаний |
| Уверенный тон | Модель обучена давать уверенные ответы, даже когда «не уверена» |
| Устаревшие данные | Модель знает только то, что было в обучающих данных |
| Редкие темы | Чем меньше данных по теме, тем выше риск галлюцинаций |
Как уменьшить галлюцинации
- Просите модель ссылаться на конкретные источники и проверяйте их
- Используйте RAG — подключение модели к актуальной базе знаний
- Просите модель сообщать, когда она не уверена в ответе
- Снижайте температуру для фактических задач
Связанные термины
- Grounding — подключение модели к фактическим данным для снижения галлюцинаций
- RAG — технология, помогающая модели опираться на реальные документы
- Температура — параметр: чем выше, тем больше риск галлюцинаций