Neurales Aufmerksamkeits-Entitäten-Sack-Modell für Textklassifizierung

Diese Studie schlägt ein Neurales Aufmerksamkeits-Entitätensack-Modell (Neural Attentive Bag-of-Entities Model) vor, das ein neuronales Netzwerkmodell ist, welches Textklassifikation durch die Verwendung von Entitäten in einer Wissensdatenbank durchführt. Entitäten bieten eindeutige und relevante semantische Signale, die für die Erfassung von Semantik in Texten vorteilhaft sind. Wir kombinieren eine einfache hochrekallfähige Entitäterkennung basierend auf einem Wörterbuch, um Entitäten in einem Dokument zu erkennen, mit einem neuen neuronalen Aufmerksamkeitsmechanismus, der es dem Modell ermöglicht, sich auf eine kleine Anzahl von eindeutigen und relevanten Entitäten zu konzentrieren. Wir haben die Effektivität unseres Modells anhand zweier standardisierter Textklassifikationsdatensätze (nämlich den 20 Newsgroups und R8 Datensätzen) sowie eines beliebten Faktoide-Fragebeantwortungsdatensatzes basierend auf einem Trivia-Quiz-Spiel getestet. Das Ergebnis war, dass unser Modell auf allen Datensätzen den aktuellen Stand der Technik erreichte. Der Quellcode des vorgeschlagenen Modells ist online unter https://github.com/wikipedia2vec/wikipedia2vec verfügbar.