Inférence
Échantillonnage
La façon dont le modèle choisit chaque jeton suivant parmi ses probabilités, au lieu de toujours prendre le plus probable.
L'échantillonnage explique pourquoi deux réponses au même prompt diffèrent. La température et le top-p le règlent.
Questions fréquentes
Que signifie Échantillonnage ?
La façon dont le modèle choisit chaque jeton suivant parmi ses probabilités, au lieu de toujours prendre le plus probable. L'échantillonnage explique pourquoi deux réponses au même prompt diffèrent. La température et le top-p le règlent.