Contrebalancer l'influence de la longueur de l'essai dans l'évaluation neurale des essais

Les travaux antérieurs ont montré que les systèmes automatisés d'évaluation des essais, en particulier ceux fondés sur l'apprentissage automatique, ne sont pas capables d'évaluer la qualité des essais, mais s'appuient plutôt sur la longueur de l'essai, un facteur sans lien direct avec la maîtrise de l'écriture. Dans ce travail, nous démontrons tout d'abord que les systèmes de pointage d'essais neuronaux les plus récents, bien que performants, pourraient également être influencés par la corrélation entre la longueur de l'essai et la note attribuée dans un jeu de données standard. Dans notre évaluation, un modèle neuronal très simple atteint des performances équivalentes aux états de l'art sur ce jeu de données standard. Afin de prendre en compte le contenu de l'essai sans tenir compte de sa longueur, nous introduisons un modèle neuronal simple qui évalue la similarité du contenu entre un essai d'entrée et des essais ayant reçu différentes notes. Ce modèle neuronal atteint des performances comparables aux états de l'art, tant sur le jeu de données standard que sur un second jeu de données. Nos résultats suggèrent que les systèmes neuronaux d'évaluation d'essais devraient tenir compte des caractéristiques des jeux de données afin de se concentrer sur la qualité du texte.