الأساسيات
المُقطِّع (Tokenizer)
المكوّن الذي يقسّم النص إلى رموز قبل أن يعالجه النموذج، ويعيد الرموز إلى نص.
لكل عائلة نماذج مُقطِّعها الخاص، لذا قد يكلّف النص نفسه عدداً مختلفاً من الرموز بين نموذج وآخر. وتذكر Anthropic مثلاً أن مُقطِّعها الأحدث ينتج نحو 30% رموزاً أكثر للنص نفسه.
الأسئلة الشائعة
ماذا يعني المُقطِّع (Tokenizer)؟
المكوّن الذي يقسّم النص إلى رموز قبل أن يعالجه النموذج، ويعيد الرموز إلى نص. لكل عائلة نماذج مُقطِّعها الخاص، لذا قد يكلّف النص نفسه عدداً مختلفاً من الرموز بين نموذج وآخر. وتذكر Anthropic مثلاً أن مُقطِّعها الأحدث ينتج نحو 30% رموزاً أكثر للنص نفسه.