HyperAIHyperAI

Command Palette

Search for a command to run...

Un Modèle Hiérarchique Structuré à Auto-Attention pour la Synthèse de Documents par Extraction (HSSAS)

KAMAL AL-SABAHI ZHANG ZUPING MOHAMMED NADHER

Résumé

Les récentes avancées dans l'architecture des réseaux de neurones et les algorithmes d'entraînement ont démontré l'efficacité de l'apprentissage de représentation. Les modèles basés sur les réseaux de neurones génèrent une meilleure représentation que les modèles traditionnels. Ils ont la capacité d'apprendre automatiquement la représentation distribuée pour les phrases et les documents. À cette fin, nous avons proposé un nouveau modèle qui aborde plusieurs problèmes qui ne sont pas suffisamment modélisés par les modèles précédemment proposés, tels que le problème de mémoire et l'intégration des connaissances sur la structure du document. Notre modèle utilise un mécanisme d'auto-attention structurée hiérarchique pour créer les plongements (embeddings) de phrases et de documents. Cette architecture reflète la structure hiérarchique du document et permet ainsi d'obtenir une meilleure représentation des caractéristiques. Le mécanisme d'attention fournit une source supplémentaire d'information pour guider l'extraction du résumé. Le nouveau modèle traite la tâche de résumé comme un problème de classification, où le modèle calcule les probabilités respectives d'appartenance des phrases au résumé. Les prédictions du modèle sont décomposées en plusieurs caractéristiques telles que le contenu informatif, la pertinence, la nouveauté et la représentation positionnelle. Le modèle proposé a été évalué sur deux ensembles de données bien connus, CNN/Daily Mail et DUC 2002. Les résultats expérimentaux montrent que notre modèle surpassent considérablement l'état actuel de l'art en extraction de résumés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp