Токен
Мельчайшая единица, которой оперирует LLM, — примерно слово, слог или символ.
«Hello world» — это 2 токена. Составное слово вроде «internationalisation» часто занимает 5–6 токенов (длинные слова режутся на части). Модели тарифицируются за токены: цена $3/M input tokens означает 3 доллара за миллион токенов на входе.
Контекстное окно модели тоже измеряется в токенах: 200 000 токенов — это примерно 150 000 слов, то есть небольшая книга. Всё, что не помещается в лимит, в один вызов не попадёт.