HyperAIHyperAI

Command Palette

Search for a command to run...

MAFiD : Fusion équipée de moyenne mobile dans le décodeur pour la réponse aux questions sur des données tabulaires et textuelles

Seung-Hoon Na Inho Kang Donghyeon Jeon Daeryong Seo Eunhwan Park Sung-Min Lee

Résumé

Les modèles basés sur les transformateurs pour la résolution de questions (QA) sur des tableaux et des textes font face à une séquence hybride « longue » incluant à la fois des éléments tabulaires et textuels, ce qui pose des difficultés en raisonnement à longue portée. Pour traiter ces défis, nous exploitons de manière extensive une architecture de fusion dans le décodeur (FiD) ainsi qu'une moyenne mobile exponentielle (EMA), en proposant un modèle appelé {underline{M}oving {underline{A}verage Equipped {underline{F}usion-{underline{i}n-{underline{D}ecoder ({textbf{MAFiD}). En s'appuyant sur FiD comme architecture fondamentale, MAFiD intègre plusieurs niveaux de raisonnement : {textit{encodage indépendant} des données homogènes, ainsi que des raisonnements {textit{à une seule ligne} et {textit{à plusieurs lignes} sur des données hétérogènes, en utilisant une couche de attention croisée à seuil pour agréger efficacement les trois types de représentations issues de ces différents processus de raisonnement. Les résultats expérimentaux sur le jeu de données HybridQA montrent que MAFiD atteint des performances de pointe, en améliorant respectivement le taux de correspondance exacte (EM) et le score F1 de 1,1 et 1,7 sur l'ensemble de test aveugle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MAFiD : Fusion équipée de moyenne mobile dans le décodeur pour la réponse aux questions sur des données tabulaires et textuelles | Articles | HyperAI