Streaming (diffusion en continu)

Envoyer la sortie à l'utilisateur jeton par jeton pendant sa génération, au lieu d'attendre la réponse complète.

Le streaming n'accélère pas la génération, mais l'application paraît plus rapide car l'utilisateur commence à lire tout de suite.

Tous les termes

Questions fréquentes

Que signifie Streaming (diffusion en continu) ?

Envoyer la sortie à l'utilisateur jeton par jeton pendant sa génération, au lieu d'attendre la réponse complète. Le streaming n'accélère pas la génération, mais l'application paraît plus rapide car l'utilisateur commence à lire tout de suite.