Inférence
Délai du premier jeton (TTFT)
Le temps entre l'envoi d'une requête et l'arrivée du premier jeton de réponse.
Le TTFT détermine la réactivité ressentie d'un chat ou d'une application vocale. Les longs prompts et le raisonnement l'augmentent ; le cache et les petits modèles le réduisent.
Questions fréquentes
Que signifie Délai du premier jeton (TTFT) ?
Le temps entre l'envoi d'une requête et l'arrivée du premier jeton de réponse. Le TTFT détermine la réactivité ressentie d'un chat ou d'une application vocale. Les longs prompts et le raisonnement l'augmentent ; le cache et les petits modèles le réduisent.