Inférence
Jetons par seconde
La vitesse à laquelle un modèle génère sa sortie, mesure courante de rapidité.
À 100 jetons par seconde, une réponse de 500 mots prend environ sept secondes. La vitesse dépend de la charge et du matériel du fournisseur autant que du modèle.
Questions fréquentes
Que signifie Jetons par seconde ?
La vitesse à laquelle un modèle génère sa sortie, mesure courante de rapidité. À 100 jetons par seconde, une réponse de 500 mots prend environ sept secondes. La vitesse dépend de la charge et du matériel du fournisseur autant que du modèle.