HyperAIHyperAI

Command Palette

Search for a command to run...

Kategorische Metadatenrepräsentation für angepasste Textklassifizierung

Jihyeok Kim*1 Reinald Kim Amplayo*2 Kyungjae Lee1 Sua Sung1 Minji Seo1 Seung-won Hwang1

Zusammenfassung

Die Leistung der Textklassifizierung hat sich durch intelligent gestaltete neurale Modelle erheblich verbessert, insbesondere solche, die kategorische Metadaten als zusätzliche Informationen einbringen, z.B. Nutzer-/Produktinformationen für die Stimmungsanalyse. Diese Informationen wurden verwendet, um Teile des Modells (z.B. Wortvektoren, Aufmerksamkeitsmechanismen) zu modifizieren, sodass die Ergebnisse nach den Metadaten angepasst werden können. Wir beobachten jedoch, dass aktuelle Darstellungsmethoden für kategorische Metadaten, die für menschliche Verarbeitung entwickelt wurden, nicht so effektiv sind, wie in gängigen Klassifikationsmethoden behauptet wird; sie werden sogar von einer einfachen Konkatenation kategorischer Merkmale in der letzten Schicht des Satzencoders übertroffen. Wir vermuten, dass kategoriale Merkmale für maschinelle Verarbeitung schwieriger darzustellen sind, da der verfügbare Kontext die Kategorie nur indirekt beschreibt und selbst dieser Kontext oft knapp ist (für seltene Kategorien). Zu diesem Zweck schlagen wir vor, Basisvektoren zu verwenden, um kategoriale Metadaten effektiv in verschiedene Teile eines neuralen Modells zu integrieren. Dies reduziert zudem die Anzahl der Parameter erheblich, insbesondere wenn die Anzahl der kategorischen Merkmale groß ist. Umfangreiche Experimente auf verschiedenen Datensätzen mit unterschiedlichen Eigenschaften zeigen, dass durch unsere Methode kategoriale Metadaten effektiver dargestellt werden können, um Teile des Modells anzupassen – einschließlich bisher unerforschter Bereiche – und die Leistung des Modells erheblich zu steigern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp