HyperAIHyperAI

Command Palette

Search for a command to run...

Agrégation convexe pour la synthèse des opinions

Hayate Iso Xiaolan Wang Yoshihiko Suhara Stefanos Angelidis Wang-Chiew Tan

Résumé

Les récentes avancées dans les autoencodeurs de texte ont considérablement amélioré la qualité de l'espace latent, ce qui permet aux modèles de générer des textes grammaticalement corrects et cohérents à partir de vecteurs latents agrégés. En tant qu'application réussie de cette propriété, les modèles d'agrégation d'opinions non supervisés génèrent un résumé en décodant les vecteurs latents agrégés des entrées. Plus précisément, ils effectuent l'agrégation par une moyenne simple. Cependant, peu de choses sont connues sur la manière dont l'étape d'agrégation des vecteurs affecte la qualité de la génération. Dans cette étude, nous reprenons l'approche couramment utilisée de la moyenne simple en examinant l'espace latent et les résumés générés. Nous avons constaté que les autoencodeurs de texte ont tendance à générer des résumés excessivement génériques à partir de vecteurs latents simplement moyennés, en raison d'une contraction inattendue de la norme L2L_2L2 dans les vecteurs latents agrégés, que nous appelons dégénérescence du vecteur résumé. Pour surmonter ce problème, nous développons un cadre nommé Coop, qui recherche des combinaisons d'entrées pour l'agrégation des vecteurs latents en utilisant le chevauchement mot-à-mot entre les entrées et les sorties. Les résultats expérimentaux montrent que Coop parvient à atténuer efficacement le problème de dégénérescence du vecteur résumé et établit de nouvelles performances record sur deux benchmarks d'agrégation d'opinions. Le code est disponible à l'adresse \url{https://github.com/megagonlabs/coop}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Agrégation convexe pour la synthèse des opinions | Articles | HyperAI