HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Considération de la structure arborescente imbriquée dans la synthèse de phrases par extraction à l’aide de transformateurs pré-entraînés

{Manabu Okumura Hidetaka Kamigaito Naoki Kobayashi Jingun Kwon}

Considération de la structure arborescente imbriquée dans la synthèse de phrases par extraction à l’aide de transformateurs pré-entraînés

Résumé

La synthèse par extraction de phrases consiste à réduire un document en sélectionnant des phrases pertinentes pour former un résumé tout en préservant ses contenus essentiels. Toutefois, la construction d’un résumé cohérent et informatif s’avère difficile lorsqu’on utilise un encodeur pré-entraîné basé sur BERT, car ce dernier n’est pas explicitement conçu pour représenter l’information contenue dans les phrases d’un document. Nous proposons un modèle d’extraction de phrases basé sur une structure arborescente imbriquée sur RoBERTa (NeRoBERTa), où les structures arborescentes imbriquées intègrent à la fois des arbres syntaxiques et des arbres discursifs présents dans un document donné. Les résultats expérimentaux sur le jeu de données CNN/DailyMail montrent que NeRoBERTa surpasser les modèles de base en termes de scores ROUGE. Les évaluations effectuées par des humains indiquent également que NeRoBERTa obtient des scores significativement meilleurs que les modèles de base en matière de cohérence, tout en atteignant des performances comparables aux modèles de pointe.

Benchmarks

BenchmarkMéthodologieMétriques
extractive-document-summarization-on-cnnNeRoBERTa
ROUGE-1: 43.86
ROUGE-2: 20.64
ROUGE-L: 40.20

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Considération de la structure arborescente imbriquée dans la synthèse de phrases par extraction à l’aide de transformateurs pré-entraînés | Articles de recherche | HyperAI