Kategorische Metadatenrepräsentation für angepasste Textklassifizierung

Die Leistung der Textklassifizierung hat sich durch intelligent gestaltete neurale Modelle erheblich verbessert, insbesondere solche, die kategorische Metadaten als zusätzliche Informationen einbringen, z.B. Nutzer-/Produktinformationen für die Stimmungsanalyse. Diese Informationen wurden verwendet, um Teile des Modells (z.B. Wortvektoren, Aufmerksamkeitsmechanismen) zu modifizieren, sodass die Ergebnisse nach den Metadaten angepasst werden können. Wir beobachten jedoch, dass aktuelle Darstellungsmethoden für kategorische Metadaten, die für menschliche Verarbeitung entwickelt wurden, nicht so effektiv sind, wie in gängigen Klassifikationsmethoden behauptet wird; sie werden sogar von einer einfachen Konkatenation kategorischer Merkmale in der letzten Schicht des Satzencoders übertroffen. Wir vermuten, dass kategoriale Merkmale für maschinelle Verarbeitung schwieriger darzustellen sind, da der verfügbare Kontext die Kategorie nur indirekt beschreibt und selbst dieser Kontext oft knapp ist (für seltene Kategorien). Zu diesem Zweck schlagen wir vor, Basisvektoren zu verwenden, um kategoriale Metadaten effektiv in verschiedene Teile eines neuralen Modells zu integrieren. Dies reduziert zudem die Anzahl der Parameter erheblich, insbesondere wenn die Anzahl der kategorischen Merkmale groß ist. Umfangreiche Experimente auf verschiedenen Datensätzen mit unterschiedlichen Eigenschaften zeigen, dass durch unsere Methode kategoriale Metadaten effektiver dargestellt werden können, um Teile des Modells anzupassen – einschließlich bisher unerforschter Bereiche – und die Leistung des Modells erheblich zu steigern.