Le pooling est un élément essentiel d'une grande variété de modèles de représentation et d'embedding de phrases. Cet article explore des méthodes de pooling généralisées pour améliorer l'embedding des phrases. Nous proposons une attention multi-têtes basée sur les vecteurs, qui inclut le max pooling, le mean pooling et l'attention auto-scalaire largement utilisés comme cas particuliers. Le modèle bénéficie de termes de pénalisation bien conçus pour réduire la redondance dans l'attention multi-têtes. Nous évaluons le modèle proposé sur trois tâches différentes : l'inférence en langage naturel (NLI), le profilage d'auteur et la classification de sentiments. Les expériences montrent que le modèle proposé réalise des améliorations significatives par rapport aux méthodes basées sur l'encodage de phrases robustes, aboutissant à des performances de pointe sur quatre jeux de données. L'approche proposée peut être facilement mise en œuvre pour un plus grand nombre de problèmes que ceux abordés dans cet article.