Réseau de co-attention avec embedding d'étiquette pour la classification de texte

La plupart des méthodes existantes pour la classification de texte se concentrent sur l’extraction d’une représentation textuelle fortement discriminante, ce qui s’avère toutefois généralement peu efficace sur le plan computationnel. Pour atténuer ce problème, des cadres basés sur les embeddings de labels ont été proposés, adoptant une attention label-vers-texte qui utilise directement les informations de label pour construire la représentation textuelle, permettant ainsi une classification plus efficace. Bien que ces méthodes d’embedding de labels aient obtenu des résultats prometteurs, il reste encore beaucoup de place pour explorer comment exploiter plus efficacement les informations de label. Dans cet article, nous cherchons à tirer parti de ces informations de label en construisant, par une attention texte-vers-label, une représentation de label enrichie par le texte. À cette fin, nous proposons un réseau de co-attention avec embedding de label (CNLE), qui encode simultanément le texte et les labels dans des représentations mutuellement attentives. Ainsi, le modèle est capable d’attirer l’attention sur les parties pertinentes des deux modalités. Les expériences montrent que notre approche atteint des résultats compétitifs par rapport aux méthodes de l’état de l’art précédentes sur 7 benchmarks de classification multi-classes et 2 benchmarks de classification multi-étiquettes.