Co-Attention-Netzwerk mit Label-Embedding für die Textklassifikation
{Qing Du Junyi Cao Lizhao Liu Minqian Liu}

Abstract
Die meisten bestehenden Methoden zur Textklassifikation konzentrieren sich darauf, eine hochdiskriminative Textrepräsentation zu extrahieren, was jedoch typischerweise rechenintensiv ist. Um dieses Problem zu mindern, wurden Label-Embedding-Frameworks vorgeschlagen, die die Label-zu-Text-Attention nutzen, um die Textrepräsentation direkt anhand von Label-Informationen zu konstruieren und so eine effizientere Textklassifikation zu ermöglichen. Obwohl diese Label-Embedding-Methoden vielversprechende Ergebnisse erzielt haben, bleibt noch erheblicher Forschungsbedarf hinsichtlich der effektiveren Nutzung von Label-Informationen. In diesem Artikel streben wir an, die Label-Informationen durch die zusätzliche Konstruktion einer textangeregten Label-Repäsentation mittels Text-zu-Label-Attention zu nutzen. Dazu stellen wir ein Coattention-Netzwerk mit Label-Embedding (CNLE) vor, das Text und Labels gemeinsam in wechselseitig angeregte Repräsentationen kodiert. Auf diese Weise kann das Modell relevante Teile sowohl des Textes als auch der Labels gezielt berücksichtigen. Experimente zeigen, dass unsere Methode im Vergleich zu vorherigen state-of-the-art-Verfahren auf sieben Multi-Klassen-Klassifikationsbenchmarks und zwei Multi-Label-Klassifikationsbenchmarks konkurrenzfähige Ergebnisse erzielt.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| multi-label-text-classification-on-aapd | CNLE | Micro F1: 71.7 |
| multi-label-text-classification-on-reuters-1 | CNLE | Micro-F1: 89.9 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.