Mélange d'experts (MoE)

Une architecture où seule une partie des sous-réseaux « experts » est utilisée pour chaque jeton, donnant à un grand modèle le coût d'exécution d'un plus petit. Un modèle MoE peut compter des centaines de milliards de paramètres au total mais n'en activer qu'une fraction par jeton. C'est pourquoi certains modèles ouverts sont énormes sur disque mais assez peu chers à exécuter.