Architecture
Mécanisme d'attention
La partie du transformeur qui permet à chaque jeton d'évaluer la pertinence de tous les autres pour calculer son sens.
L'attention permet de relier un pronom au bon nom plusieurs pages plus tôt. Son coût augmente avec la longueur du contexte, une des raisons pour lesquelles les longs contextes coûtent cher.
Questions fréquentes
Que signifie Mécanisme d'attention ?
La partie du transformeur qui permet à chaque jeton d'évaluer la pertinence de tous les autres pour calculer son sens. L'attention permet de relier un pronom au bon nom plusieurs pages plus tôt. Son coût augmente avec la longueur du contexte, une des raisons pour lesquelles les longs contextes coûtent cher.