Évaluation
LLM comme juge
Utiliser un modèle de langage pour noter les sorties d'autres modèles selon des critères, afin d'évaluer à grande échelle.
Les juges automatiques sont rapides et peu coûteux mais biaisés, par exemple en faveur des réponses longues ou de leur propre style. Calibrez-les sur des exemples notés par des humains.
Questions fréquentes
Que signifie LLM comme juge ?
Utiliser un modèle de langage pour noter les sorties d'autres modèles selon des critères, afin d'évaluer à grande échelle. Les juges automatiques sont rapides et peu coûteux mais biaisés, par exemple en faveur des réponses longues ou de leur propre style. Calibrez-les sur des exemples notés par des humains.