Notions de base
Jeton (token)
L'unité de texte qu'un modèle de langage lit et écrit : un mot, une partie de mot ou un signe de ponctuation. L'usage est facturé au jeton.
En anglais, un jeton vaut en moyenne trois quarts de mot, donc 1 000 jetons font environ 750 mots. Le français et l'arabe demandent généralement plus de jetons pour le même sens. Fenêtres de contexte et prix se mesurent en jetons.
Questions fréquentes
Que signifie Jeton (token) ?
L'unité de texte qu'un modèle de langage lit et écrit : un mot, une partie de mot ou un signe de ponctuation. L'usage est facturé au jeton. En anglais, un jeton vaut en moyenne trois quarts de mot, donc 1 000 jetons font environ 750 mots. Le français et l'arabe demandent généralement plus de jetons pour le même sens. Fenêtres de contexte et prix se mesurent en jetons.