الأساسيات
الرمز (Token)
وحدة النص التي يقرؤها النموذج اللغوي ويكتبها: كلمة أو جزء من كلمة أو علامة ترقيم. ويُحتسب الاستخدام بالرموز.
يعادل الرمز في الإنجليزية نحو ثلاثة أرباع كلمة، فألف رمز تساوي قرابة 750 كلمة. وتحتاج العربية والفرنسية عادة رموزاً أكثر للمعنى نفسه. وتُقاس نوافذ السياق والأسعار كلاهما بالرموز.
الأسئلة الشائعة
ماذا يعني الرمز (Token)؟
وحدة النص التي يقرؤها النموذج اللغوي ويكتبها: كلمة أو جزء من كلمة أو علامة ترقيم. ويُحتسب الاستخدام بالرموز. يعادل الرمز في الإنجليزية نحو ثلاثة أرباع كلمة، فألف رمز تساوي قرابة 750 كلمة. وتحتاج العربية والفرنسية عادة رموزاً أكثر للمعنى نفسه. وتُقاس نوافذ السياق والأسعار كلاهما بالرموز.