Acuity Insights Inc.

Objet publié

Nous proposons une nouvelle approche de la notation automatisée des tests qui combine les récentes avancées en matière de grands modèles linguistiques (GML) avec les approches traditionnelles d’AA « boîte transparente ». Nous utiliserons un cadre LLM-as-a-judge (GML en tant que juge) associé à une grille d’évaluation (développée en consultation avec des experts en la matière) pour classer les réponses sur la base de ces éléments de notation. Le GML fournira également le raisonnement qui sous-tend ces décisions. Nous construirons ensuite des modèles d’AA transparents qui combinent ces éléments de notation extraits des réponses en une seule note numérique. Cette méthode nous permettra non seulement de noter une réponse, mais aussi d’identifier précisément comment les différents éléments de la grille ont contribué à la note et pourquoi chaque élément de la grille a été utilisé.