Parité Humaine sur CommonsenseQA : Amplification de l'Attention Auto avec une Attention Externe

La plupart des systèmes d’intelligence artificielle actuels s’appuient sur des mécanismes d’attention auto-attention et des architectures de transformateurs, appliqués à de grandes quantités de données diversifiées, afin d’obtenir des gains de performance remarquables. Dans cet article, nous proposons d’enrichir l’architecture de transformateur avec un mécanisme d’attention externe afin d’introduire des connaissances et un contexte externes. En intégrant des informations externes dans le processus de prédiction, nous espérons réduire la nécessité de modèles de plus en plus volumineux et favoriser la démocratisation des systèmes d’intelligence artificielle. Nous constatons que le mécanisme d’attention externe proposé améliore significativement les performances des systèmes d’IA existants, permettant aux praticiens d’adapter facilement les modèles fondamentaux à de nombreuses applications spécifiques. En particulier, nous nous concentrons sur la tâche du raisonnement communautaire, en démontrant que le mécanisme d’attention externe proposé permet d’améliorer efficacement les capacités de raisonnement des modèles de transformateur existants. Le système proposé, appelé Knowledgeable External Attention for Commonsense Reasoning (KEAR), atteint une précision de 89,4 % sur le benchmark ouvert CommonsenseQA, égalant ainsi le niveau humain (précision humaine : 88,9 %).