HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de co-attention avec embedding d'étiquette pour la classification de texte

Qing Du Junyi Cao Lizhao Liu Minqian Liu

Résumé

La plupart des méthodes existantes pour la classification de texte se concentrent sur l’extraction d’une représentation textuelle fortement discriminante, ce qui s’avère toutefois généralement peu efficace sur le plan computationnel. Pour atténuer ce problème, des cadres basés sur les embeddings de labels ont été proposés, adoptant une attention label-vers-texte qui utilise directement les informations de label pour construire la représentation textuelle, permettant ainsi une classification plus efficace. Bien que ces méthodes d’embedding de labels aient obtenu des résultats prometteurs, il reste encore beaucoup de place pour explorer comment exploiter plus efficacement les informations de label. Dans cet article, nous cherchons à tirer parti de ces informations de label en construisant, par une attention texte-vers-label, une représentation de label enrichie par le texte. À cette fin, nous proposons un réseau de co-attention avec embedding de label (CNLE), qui encode simultanément le texte et les labels dans des représentations mutuellement attentives. Ainsi, le modèle est capable d’attirer l’attention sur les parties pertinentes des deux modalités. Les expériences montrent que notre approche atteint des résultats compétitifs par rapport aux méthodes de l’état de l’art précédentes sur 7 benchmarks de classification multi-classes et 2 benchmarks de classification multi-étiquettes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau de co-attention avec embedding d'étiquette pour la classification de texte | Articles | HyperAI