IDOL : Pré-entraînement logique orienté par des indicateurs pour le raisonnement logique

Dans le domaine de la compréhension de lecture par machine (MRC), les systèmes existants ont dépassé, dans de nombreuses tâches comme SQuAD, les performances moyennes des êtres humains. Toutefois, un long chemin reste à parcourir en matière de raisonnement logique. Bien que plusieurs méthodes aient été proposées à cet effet, elles sont soit conçues de manière trop complexe, soit trop dépendantes de structures externes. Dans cet article, nous proposons IDOL (InDicator-Oriented Logic Pre-training), une tâche de pré-entraînement ultérieur facile à comprendre mais hautement efficace, qui renforce logiquement les modèles pré-entraînés grâce à six types d’indicateurs logiques et à un jeu de données riche en logique, nommé LGP (LoGic Pre-training). IDOL atteint des performances de pointe sur ReClor et LogiQA, deux benchmarks les plus représentatifs de la MRC reposant sur le raisonnement logique, et se révèle capable de généraliser à différents modèles pré-entraînés ainsi qu’à d'autres types de benchmarks de MRC, comme RACE et SQuAD 2.0, tout en maintenant une capacité compétitive en compréhension générale du langage, comme le montrent les évaluations sur les tâches du cadre GLUE. En outre, à l’aube de l’ère des grands modèles linguistiques, nous comparons notre approche à plusieurs modèles majeurs tels que ChatGPT et constatons que IDOL conserve un avantage significatif.