Plusieurs mains facilitent le travail : Utilisation de caractéristiques d'essai pour évaluer automatiquement les essais

La plupart des recherches dans le domaine de l’évaluation automatique des essais (AEG) se concentrent sur le score global de l’essai, bien qu’un certain nombre d’études aient également exploré l’évaluation de traits spécifiques de l’essai. Dans cet article, nous présentons une méthode d’évaluation globale des essais basée sur une approche d’apprentissage multi-tâches (MTL), dans laquelle l’évaluation globale constitue la tâche principale, tandis que l’évaluation des traits de l’essai sert de tâche auxiliaire. Nous comparons nos résultats à ceux obtenus avec une approche d’apprentissage mono-tâche (STL), en utilisant à la fois des réseaux de neurones à mémoire à court terme (LSTM) et des réseaux bidirectionnels LSTM (BiLSTM). Nous comparons également les performances de notre tâche auxiliaire avec celles observées dans d’autres systèmes d’AEG. Pour identifier quels traits sont les plus pertinents selon le type d’essai, nous menons des tests d’ablation pour chacun des traits. Nous rapportons également les temps d’exécution et le nombre de paramètres d’entraînement pour chaque système. Nous constatons que le modèle BiLSTM basé sur l’apprentissage multi-tâches obtient les meilleurs résultats pour l’évaluation globale des essais, tout en se montrant également performant sur l’évaluation des traits individuels.