Architecture
Transformeur (Transformer)
L'architecture de réseau de neurones derrière presque tous les modèles de langage modernes, fondée sur le mécanisme d'attention.
Introduit en 2017, le transformeur traite tous les jetons d'une séquence en parallèle et utilise l'attention pour décider quels jetons précédents comptent pour chaque nouveau. GPT signifie « generative pre-trained transformer ».
Questions fréquentes
Que signifie Transformeur (Transformer) ?
L'architecture de réseau de neurones derrière presque tous les modèles de langage modernes, fondée sur le mécanisme d'attention. Introduit en 2017, le transformeur traite tous les jetons d'une séquence en parallèle et utilise l'attention pour décider quels jetons précédents comptent pour chaque nouveau. GPT signifie « generative pre-trained transformer ».