Transformers sind Kurztextklassifizierer: Eine Studie induktiver Kurztextklassifizierer auf Benchmarks und realen Datensätzen

Kurztextklassifikation ist ein entscheidender und herausfordernder Aspekt der Natural Language Processing (NLP). Daher existieren zahlreiche hochspezialisierte Kurztextklassifikatoren. In jüngeren Forschungsarbeiten zu Kurztexten blieben jedoch State-of-the-Art (SOTA)-Methoden der traditionellen Textklassifikation, insbesondere die reine Anwendung von Transformers, weitgehend ungenutzt. In dieser Arbeit untersuchen wir die Leistung verschiedener Kurztextklassifikatoren sowie des am besten abschneidenden traditionellen Textklassifikators. Zudem analysieren wir deren Wirkung auf zwei neue, realweltbasierte Kurztext-Datensätze, um das Problem der übermäßigen Abhängigkeit von Benchmark-Datensätzen mit begrenzten Merkmalen anzugehen. Unsere Experimente zeigen eindeutig, dass Transformers bei der Kurztextklassifikation SOTA-Genauigkeit erreichen, was die Frage aufwirft, ob spezialisierte Kurztextmethoden tatsächlich notwendig sind.