Entraînement
Descente de gradient
La méthode d'optimisation qui ajuste les paramètres pas à pas dans la direction qui réduit le plus la perte.
Tous les grands modèles sont entraînés avec une variante de descente de gradient, répétée sur des milliers de milliards de jetons. Le « taux d'apprentissage » fixe la taille de chaque pas.
Questions fréquentes
Que signifie Descente de gradient ?
La méthode d'optimisation qui ajuste les paramètres pas à pas dans la direction qui réduit le plus la perte. Tous les grands modèles sont entraînés avec une variante de descente de gradient, répétée sur des milliers de milliards de jetons. Le « taux d'apprentissage » fixe la taille de chaque pas.