Taille du modèle

L'ampleur d'un modèle, exprimée en paramètres (par exemple 8B ou 120B), qui donne une idée de ses capacités et de son coût d'exécution.

Pour les modèles à mélange d'experts, deux nombres comptent : les paramètres totaux, qui fixent la mémoire nécessaire, et les paramètres actifs par jeton, qui fixent la vitesse et le coût.

Tous les termes

Dans les autres langues

Model size English
حجم النموذج العربية

Termes associés

ParamètreUn nombre interne au modèle appris pendant l'entraînement ; la taille d'un modèle se mesure généralement en paramètres.
Petit modèle de langage (SLM)Un modèle de langage compact, souvent quelques milliards de paramètres, assez léger pour un ordinateur portable, un téléphone ou un serveur modeste.
Mélange d'experts (MoE)Une architecture où seule une partie des sous-réseaux « experts » est utilisée pour chaque jeton, donnant à un grand modèle le coût d'exécution d'un plus petit.

Questions fréquentes

Que signifie Taille du modèle ?

L'ampleur d'un modèle, exprimée en paramètres (par exemple 8B ou 120B), qui donne une idée de ses capacités et de son coût d'exécution. Pour les modèles à mélange d'experts, deux nombres comptent : les paramètres totaux, qui fixent la mémoire nécessaire, et les paramètres actifs par jeton, qui fixent la vitesse et le coût.