Évaluation

LLM comme juge

Utiliser un modèle de langage pour noter les sorties d'autres modèles selon des critères, afin d'évaluer à grande échelle.

Les juges automatiques sont rapides et peu coûteux mais biaisés, par exemple en faveur des réponses longues ou de leur propre style. Calibrez-les sur des exemples notés par des humains.

Tous les termes

Questions fréquentes

Que signifie LLM comme juge ?

Utiliser un modèle de langage pour noter les sorties d'autres modèles selon des critères, afin d'évaluer à grande échelle. Les juges automatiques sont rapides et peu coûteux mais biaisés, par exemple en faveur des réponses longues ou de leur propre style. Calibrez-les sur des exemples notés par des humains.