HyperAIHyperAI

Command Palette

Search for a command to run...

IDOL : Pré-entraînement logique orienté par des indicateurs pour le raisonnement logique

Zihang Xu Ziqing Yang Yiming Cui Shijin Wang

Résumé

Dans le domaine de la compréhension de lecture par machine (MRC), les systèmes existants ont dépassé, dans de nombreuses tâches comme SQuAD, les performances moyennes des êtres humains. Toutefois, un long chemin reste à parcourir en matière de raisonnement logique. Bien que plusieurs méthodes aient été proposées à cet effet, elles sont soit conçues de manière trop complexe, soit trop dépendantes de structures externes. Dans cet article, nous proposons IDOL (InDicator-Oriented Logic Pre-training), une tâche de pré-entraînement ultérieur facile à comprendre mais hautement efficace, qui renforce logiquement les modèles pré-entraînés grâce à six types d’indicateurs logiques et à un jeu de données riche en logique, nommé LGP (LoGic Pre-training). IDOL atteint des performances de pointe sur ReClor et LogiQA, deux benchmarks les plus représentatifs de la MRC reposant sur le raisonnement logique, et se révèle capable de généraliser à différents modèles pré-entraînés ainsi qu’à d'autres types de benchmarks de MRC, comme RACE et SQuAD 2.0, tout en maintenant une capacité compétitive en compréhension générale du langage, comme le montrent les évaluations sur les tâches du cadre GLUE. En outre, à l’aube de l’ère des grands modèles linguistiques, nous comparons notre approche à plusieurs modèles majeurs tels que ChatGPT et constatons que IDOL conserve un avantage significatif.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp