Utilisation explicite des connaissances générales dans la compréhension de la lecture par machine

Pour combler l'écart entre les modèles de compréhension de la lecture par machine (MRC) et les êtres humains, qui se manifeste principalement par la soif de données et la robustesse face au bruit, cet article explore comment intégrer les réseaux neuronaux des modèles MRC avec les connaissances générales des humains. D'une part, nous proposons une méthode d'enrichissement des données, qui utilise WordNet pour extraire les connexions sémantiques inter-mot comme connaissances générales à partir de chaque paire passage-question donnée. D'autre part, nous proposons un modèle MRC de bout en bout nommé Knowledge Aided Reader (KAR), qui utilise explicitement les connaissances générales extraites ci-dessus pour assister ses mécanismes d'attention. Grâce à la méthode d'enrichissement des données, KAR offre des performances comparables à celles des modèles MRC les plus avancés actuellement disponibles, et est significativement plus robuste face au bruit que ces derniers. Lorsqu'il n'est disponible qu'un sous-ensemble (20% à 80%) des exemples d'entraînement, KAR surpasse largement les modèles MRC les plus avancés actuellement disponibles et reste raisonnablement robuste face au bruit.