Токены (Tokens)
Единицы текста, на которые модель разбивает входные данные для обработки. Одно слово — обычно 1-3 токена.
Токены — это минимальные единицы текста, на которые языковая модель разбивает входные данные перед обработкой. Модель не «читает» текст словами — она работает с токенами.
Как это работает
Перед тем как обработать ваш запрос, модель пропускает текст через токенизатор — программу, которая разбивает текст на кусочки. Один токен — это примерно:
- В английском: 3-4 символа или ~¾ слова
- В русском: обычно 1-2 символа, русское слово может занимать 2-5 токенов
Например, фраза «Привет, мир!» может быть разбита на 4-6 токенов, тогда как «Hello, world!» — на 4 токена.
Почему токены важны
| Аспект | Значение |
|---|---|
| Стоимость | Оплата API считается за токены (вход + выход) |
| Лимиты | Контекстное окно модели измеряется в токенах |
| Скорость | Чем больше токенов, тем дольше генерация ответа |
| Русский язык | Русский текст «стоит» в 1.5-2 раза больше токенов, чем английский |
Пример подсчёта
Предложение из 10 русских слов может занимать 25-40 токенов. При стоимости $3 за миллион токенов это ничтожно мало за один запрос, но при массовой обработке суммы растут.
Связанные термины
- Токенизатор — программа, которая разбивает текст на токены
- Контекстное окно — максимальное количество токенов, которое модель может обработать за один раз
- Инференс — процесс генерации ответа, оплачиваемый по количеству токенов