Agrégation convexe pour la synthèse des opinions

Les récentes avancées dans les autoencodeurs de texte ont considérablement amélioré la qualité de l'espace latent, ce qui permet aux modèles de générer des textes grammaticalement corrects et cohérents à partir de vecteurs latents agrégés. En tant qu'application réussie de cette propriété, les modèles d'agrégation d'opinions non supervisés génèrent un résumé en décodant les vecteurs latents agrégés des entrées. Plus précisément, ils effectuent l'agrégation par une moyenne simple. Cependant, peu de choses sont connues sur la manière dont l'étape d'agrégation des vecteurs affecte la qualité de la génération. Dans cette étude, nous reprenons l'approche couramment utilisée de la moyenne simple en examinant l'espace latent et les résumés générés. Nous avons constaté que les autoencodeurs de texte ont tendance à générer des résumés excessivement génériques à partir de vecteurs latents simplement moyennés, en raison d'une contraction inattendue de la norme $L_2$ dans les vecteurs latents agrégés, que nous appelons dégénérescence du vecteur résumé. Pour surmonter ce problème, nous développons un cadre nommé Coop, qui recherche des combinaisons d'entrées pour l'agrégation des vecteurs latents en utilisant le chevauchement mot-à-mot entre les entrées et les sorties. Les résultats expérimentaux montrent que Coop parvient à atténuer efficacement le problème de dégénérescence du vecteur résumé et établit de nouvelles performances record sur deux benchmarks d'agrégation d'opinions. Le code est disponible à l'adresse \url{https://github.com/megagonlabs/coop}.