Температура (Temperature)
Параметр, контролирующий случайность и креативность ответов языковой модели. Низкая температура — предсказуемые ответы, высокая — творческие.
Температура — это числовой параметр (обычно от 0 до 2), который контролирует степень случайности при генерации текста языковой моделью.
Как это работает
Когда модель генерирует следующее слово, она рассчитывает вероятность каждого возможного варианта. Температура влияет на распределение этих вероятностей:
- Температура 0 — модель почти всегда выбирает самое вероятное слово. Ответы максимально предсказуемые и стабильные.
- Температура 0.7 — баланс между предсказуемостью и разнообразием. Подходит для большинства задач.
- Температура 1.0+ — модель чаще выбирает менее вероятные слова. Ответы более креативные, но менее точные.
Когда какую температуру использовать
| Температура | Задачи | Пример |
|---|---|---|
| 0 — 0.3 | Фактические ответы, классификация, извлечение данных, код | «Какая столица Франции?» |
| 0.5 — 0.7 | Деловые тексты, статьи, объяснения | «Напиши описание товара» |
| 0.8 — 1.2 | Креативный текст, мозговой штурм, поэзия | «Придумай 10 названий для стартапа» |
Пример
При одном и том же промпте «Продолжи фразу: Будущее AI —» с температурой 0 модель каждый раз выдаст почти одинаковый ответ. С температурой 1.0 каждый запрос будет давать разные, иногда неожиданные продолжения.
Связанные термины
- Top-p (nucleus sampling) — ещё один параметр управления случайностью, часто используется вместе с температурой
- Токены — единицы текста, из которых модель выбирает следующий элемент