SkipFlow : Intégration de Caractéristiques de Cohérence Neuronale pour l'Évaluation Automatique du Texte de A à Z

L'apprentissage profond a démontré un potentiel considérable pour les tâches de notation automatique du texte (Automatic Text Scoring, ATS). Dans cet article, nous décrivons une nouvelle architecture neuronale qui améliore les modèles de réseau neuronal standard grâce à des caractéristiques d'cohérence neuronale auxiliaires. Notre méthode propose un nouveau mécanisme \textsc{SkipFlow} qui modélise les relations entre des instantanés des représentations cachées d'un réseau à mémoire à court et long terme (Long Short-Term Memory, LSTM) au fur et à mesure qu'il lit. Ensuite, les relations sémantiques entre plusieurs instantanés sont utilisées comme caractéristiques auxiliaires pour la prédiction. Cette approche présente deux avantages principaux. Premièrement, les essais sont généralement de longues séquences, ce qui peut rendre la capacité de mémorisation du réseau LSTM insuffisante. L'accès implicite à plusieurs instantanés peut atténuer ce problème en agissant comme une protection contre l'effacement des gradients. Les paramètres du mécanisme \textsc{SkipFlow} jouent également le rôle d'une mémoire auxiliaire. Deuxièmement, la modélisation des relations entre plusieurs positions permet à notre modèle d'apprendre des caractéristiques qui représentent et approximent la cohérence textuelle. Dans notre modèle, nous appelons ces caractéristiques des caractéristiques de \textit{cohérence neuronale}. Dans l'ensemble, nous présentons une architecture unifiée d'apprentissage profond qui génère des caractéristiques de cohérence neuronale de manière end-to-end au fur et à mesure qu'elle lit. Notre approche montre des performances de pointe sur l'ensemble de données de référence ASAP, surpassant non seulement les méthodes basées sur l'ingénierie des caractéristiques mais aussi d'autres modèles d'apprentissage profond.