HyperAIHyperAI

Command Palette

Search for a command to run...

Contrebalancer l'influence de la longueur de l'essai dans l'évaluation neurale des essais

Michael Strube Sungho Jeon

Résumé

Les travaux antérieurs ont montré que les systèmes automatisés d'évaluation des essais, en particulier ceux fondés sur l'apprentissage automatique, ne sont pas capables d'évaluer la qualité des essais, mais s'appuient plutôt sur la longueur de l'essai, un facteur sans lien direct avec la maîtrise de l'écriture. Dans ce travail, nous démontrons tout d'abord que les systèmes de pointage d'essais neuronaux les plus récents, bien que performants, pourraient également être influencés par la corrélation entre la longueur de l'essai et la note attribuée dans un jeu de données standard. Dans notre évaluation, un modèle neuronal très simple atteint des performances équivalentes aux états de l'art sur ce jeu de données standard. Afin de prendre en compte le contenu de l'essai sans tenir compte de sa longueur, nous introduisons un modèle neuronal simple qui évalue la similarité du contenu entre un essai d'entrée et des essais ayant reçu différentes notes. Ce modèle neuronal atteint des performances comparables aux états de l'art, tant sur le jeu de données standard que sur un second jeu de données. Nos résultats suggèrent que les systèmes neuronaux d'évaluation d'essais devraient tenir compte des caractéristiques des jeux de données afin de se concentrer sur la qualité du texte.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp