التقييم
SWE-bench
اختبار معياري يقيس قدرة النموذج على إصلاح مشكلات GitHub حقيقية في مشاريع مفتوحة المصدر، مع التحقق باختبارات المشروع نفسه.
SWE-bench Verified، وهو مجموعة فرعية راجعها بشر، أكثر اختبارات القدرة البرمجية العملية استشهاداً. وتتطلب النتيجة العالية قراءة شيفرة غير مألوفة وإنتاج تصحيح يعمل.
الأسئلة الشائعة
ماذا يعني SWE-bench؟
اختبار معياري يقيس قدرة النموذج على إصلاح مشكلات GitHub حقيقية في مشاريع مفتوحة المصدر، مع التحقق باختبارات المشروع نفسه. SWE-bench Verified، وهو مجموعة فرعية راجعها بشر، أكثر اختبارات القدرة البرمجية العملية استشهاداً. وتتطلب النتيجة العالية قراءة شيفرة غير مألوفة وإنتاج تصحيح يعمل.