Notions de base
Tokeniseur
Le composant qui découpe le texte en jetons avant le traitement par le modèle, et retransforme les jetons en texte.
Chaque famille de modèles a son tokeniseur ; un même texte peut donc coûter un nombre de jetons différent d'un modèle à l'autre. Anthropic indique par exemple que son nouveau tokeniseur produit environ 30 % de jetons en plus pour le même texte.
Questions fréquentes
Que signifie Tokeniseur ?
Le composant qui découpe le texte en jetons avant le traitement par le modèle, et retransforme les jetons en texte. Chaque famille de modèles a son tokeniseur ; un même texte peut donc coûter un nombre de jetons différent d'un modèle à l'autre. Anthropic indique par exemple que son nouveau tokeniseur produit environ 30 % de jetons en plus pour le même texte.