Notions de base
Latence
Le temps de réponse d'un modèle, souvent mesuré comme le délai avant le premier jeton.
Une faible latence compte pour le chat, la voix et l'autocomplétion. Les modèles de raisonnement sont souvent plus lents car ils réfléchissent avant de répondre. Les modèles « flash » ou « mini » sacrifient un peu de qualité pour la vitesse.
Questions fréquentes
Que signifie Latence ?
Le temps de réponse d'un modèle, souvent mesuré comme le délai avant le premier jeton. Une faible latence compte pour le chat, la voix et l'autocomplétion. Les modèles de raisonnement sont souvent plus lents car ils réfléchissent avant de répondre. Les modèles « flash » ou « mini » sacrifient un peu de qualité pour la vitesse.