HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 4 mois

BART-IT : Un modèle séquence-à-séquence efficace pour la résumé de texte italien

{Cagliero Luca La Quatra Moreno}

Résumé

L’émergence des architectures basées sur l’attention a permis des progrès significatifs dans les performances des modèles neuronaux séquence-à-séquence pour la synthèse de résumés textuels. Bien que ces modèles se soient avérés efficaces pour résumer des documents rédigés en anglais, leur transférabilité à d'autres langues reste limitée, laissant ainsi une marge importante pour amélioration. Dans cet article, nous présentons BART-IT, un modèle séquence-à-séquence fondé sur l’architecture BART, spécifiquement adapté à la langue italienne. Le modèle est pré-entraîné sur un vaste corpus de textes rédigés en italien afin d’apprendre des caractéristiques linguistiques propres, puis affiné sur plusieurs jeux de données standardisés pour la synthèse abstraite. Les résultats expérimentaux montrent que BART-IT dépasse d’autres modèles de pointe en termes de scores ROUGE, malgré un nombre de paramètres sensiblement réduit. L’utilisation de BART-IT peut stimuler le développement d’applications intéressantes en traitement automatique du langage naturel pour la langue italienne. En plus de mettre ce modèle à disposition de la communauté scientifique afin de favoriser de futures recherches et applications, nous abordons également les implications éthiques liées à l’utilisation des modèles de synthèse abstraite.

Dépôts de code

Benchmarks

BenchmarkMéthodologieMétriques
abstractive-text-summarization-on-abstractiveBART-IT
# Parameters: 140
BERTScore: 73.24
ROUGE-1: 35.42
ROUGE-2: 15.88
ROUGE-L: 25.12
abstractive-text-summarization-on-abstractivemT5
# Parameters: 390
BERTScore: 72.77
ROUGE-1: 34.13
ROUGE-2: 15.76
ROUGE-L: 24.84
abstractive-text-summarization-on-abstractivemBART
# Parameters: 610
BERTScore: 73.4
ROUGE-1: 36.52
ROUGE-2: 17.52
ROUGE-L: 26.14
abstractive-text-summarization-on-abstractiveIT5-base
# Parameters: 220
BERTScore: 70.3
ROUGE-1: 33.99
ROUGE-2: 15.59
ROUGE-L: 24.91
abstractive-text-summarization-on-abstractive-1IT5-base
BERTScore: 71.06
ROUGE-1: 32.88
ROUGE-2: 15.53
ROUGE-L: 26.7
abstractive-text-summarization-on-abstractive-1mT5
BERTScore: 74.69
ROUGE-1: 35.04
ROUGE-2: 17.41
ROUGE-L: 28.68
abstractive-text-summarization-on-abstractive-1mBART
BERTScore: 75.86
ROUGE-1: 38.91
ROUGE-2: 21.41
ROUGE-L: 32.08
abstractive-text-summarization-on-abstractive-1BART-IT
BERTScore: 75.36
ROUGE-1: 37.31
ROUGE-2: 19.44
ROUGE-L: 30.41
abstractive-text-summarization-on-witsIT5-base
BERTScore: 77.14
ROUGE-1: 37.98
ROUGE-2: 24.32
ROUGE-L: 34.94
abstractive-text-summarization-on-witsBART-IT
BERTScore: 79.28
ROUGE-1: 42.32
ROUGE-2: 28.83
ROUGE-L: 38.84
abstractive-text-summarization-on-witsmBART
BERTScore: 78.65
ROUGE-1: 39.32
ROUGE-2: 26.18
ROUGE-L: 35.9
abstractive-text-summarization-on-witsmT5
BERTScore: 80.73
ROUGE-1: 40.6
ROUGE-2: 26.9
ROUGE-L: 37.43

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
BART-IT : Un modèle séquence-à-séquence efficace pour la résumé de texte italien | Articles de recherche | HyperAI