الانتباه هو ما يمكّن النموذج من ربط ضمير بالاسم الصحيح الوارد قبل صفحات. وتزداد كلفته مع طول السياق، وهذا أحد أسباب غلاء السياقات الطويلة.
الأسئلة الشائعة
ماذا يعني آلية الانتباه؟
جزء المحوّل الذي يتيح لكل رمز تقدير أهمية كل رمز آخر عند حساب معناه. الانتباه هو ما يمكّن النموذج من ربط ضمير بالاسم الصحيح الوارد قبل صفحات. وتزداد كلفته مع طول السياق، وهذا أحد أسباب غلاء السياقات الطويلة.