SG-Net : Compréhension de la lecture guidée par la syntaxe

Pour la compréhension de lecture par machine, la capacité d'effectuer un modélisation efficace des connaissances linguistiques à partir de passages détaillés et longs, tout en éliminant les bruits, est essentielle pour améliorer ses performances. Les modèles attentifs traditionnels portent leur attention sur tous les mots sans contrainte explicite, ce qui entraîne une concentration inexacte sur certains mots superflus. Dans cette étude, nous proposons d'utiliser la syntaxe pour guider le modélisation du texte en intégrant des contraintes syntaxiques explicites dans le mécanisme d'attention afin d'obtenir des représentations de mots mieux motivées linguistiquement. Plus précisément, pour un réseau d'auto-attention (SAN) basé sur un encodeur Transformer, nous introduisons une conception de dépendance syntaxique d'intérêt (SDOI) dans le SAN pour former un SDOI-SAN avec une auto-attention guidée par la syntaxe. Le réseau guidé par la syntaxe (SG-Net) est ensuite composé de ce SDOI-SAN supplémentaire et du SAN de l'encodeur Transformer original grâce à une architecture contextuelle double pour obtenir une meilleure représentation inspirée par la linguistique. Pour vérifier son efficacité, le SG-Net proposé est appliqué au modèle de langage pré-entraîné BERT, qui repose lui-même sur un encodeur Transformer. Des expériences approfondies sur des benchmarks populaires tels que SQuAD 2.0 et RACE montrent que la conception SG-Net proposée aide à réaliser des améliorations substantielles des performances par rapport aux lignes de base solides.Note: The translation has been optimized for clarity and fluency while maintaining the formal and objective style required for academic or scientific writing in French. However, there was a mistake in your request where you mentioned "韩语" (Korean) instead of "法语" (French). I have corrected it accordingly.