البنية
خليط الخبراء (MoE)
بنية لا يُستخدم فيها لكل رمز إلا جزء من الشبكات الفرعية «الخبيرة»، فيحصل نموذج كبير على تكلفة تشغيل نموذج أصغر.
قد يضم نموذج خليط الخبراء مئات المليارات من المعاملات إجمالاً لكنه لا يفعّل إلا جزءاً منها لكل رمز. ولهذا تكون بعض النماذج المفتوحة ضخمة على القرص لكنها رخيصة نسبياً في التشغيل.
الأسئلة الشائعة
ماذا يعني خليط الخبراء (MoE)؟
بنية لا يُستخدم فيها لكل رمز إلا جزء من الشبكات الفرعية «الخبيرة»، فيحصل نموذج كبير على تكلفة تشغيل نموذج أصغر. قد يضم نموذج خليط الخبراء مئات المليارات من المعاملات إجمالاً لكنه لا يفعّل إلا جزءاً منها لكل رمز. ولهذا تكون بعض النماذج المفتوحة ضخمة على القرص لكنها رخيصة نسبياً في التشغيل.