SWE-bench

Un benchmark qui mesure si un modèle sait corriger de vrais tickets GitHub dans des projets open source, vérifiés par les tests du projet.

SWE-bench Verified, un sous-ensemble vérifié par des humains, est le test le plus cité de la compétence pratique en code. Un bon score exige de lire du code inconnu et de produire un correctif fonctionnel.

Tous les termes

Questions fréquentes

Que signifie SWE-bench ?

Un benchmark qui mesure si un modèle sait corriger de vrais tickets GitHub dans des projets open source, vérifiés par les tests du projet. SWE-bench Verified, un sous-ensemble vérifié par des humains, est le test le plus cité de la compétence pratique en code. Un bon score exige de lire du code inconnu et de produire un correctif fonctionnel.