HyperAIHyperAI

Command Palette

Search for a command to run...

Parsing non supervisé avec S-DIORA : Encodage d'un arbre unique pour les autoencodeurs récursifs profonds à l'intérieur-extérieur

Andrew McCallum Mohit Iyyer Tim O'Gorman Yi-Pei Chen Subendhu Rongali Andrew Drozdov

Résumé

Le modèle auto-encodeur récursif à structure intérieure-extérieure profonde (DIORA ; Drozdov et al., 2019) est un modèle neuronal auto-supervisé capable d’apprendre à induire des structures d’arbre syntaxique pour des phrases d’entrée, sans accès à des données d’entraînement étiquetées. Dans cet article, nous montrons que, bien que DIORA encode exhaustivement toutes les arbres binaires possibles d’une phrase à l’aide d’un programme dynamique doux, son approche fondée sur la moyenne vectorielle est localement gloutonne et ne peut pas corriger les erreurs lors du calcul de l’arbre d’analyse de score maximal dans le cadre de l’analyse ascendante par tableau (bottom-up chart parsing). Pour résoudre ce problème, nous proposons S-DIORA, une variante améliorée de DIORA, qui encode un unique arbre au lieu d’un mélange pondéré doucement d’arbres, en utilisant une opération d’argmax rigide et un faisceau (beam) à chaque cellule du tableau. Nos expériences montrent qu’en ajustant finement un modèle DIORA pré-entraîné grâce à notre nouvel algorithme, nous améliorons l’état de l’art dans le domaine de l’analyse constituante non supervisée sur le corpus anglais WSJ Penn Treebank de 2,2 à 6 % en F1, selon les données utilisées pour l’ajustement fin.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Parsing non supervisé avec S-DIORA : Encodage d'un arbre unique pour les autoencodeurs récursifs profonds à l'intérieur-extérieur | Articles | HyperAI