Protoformer: Embedding-Prototypen für Transformers

Transformers werden weit verbreitet in der Textklassifikation eingesetzt. Leider enthalten reale Datensätze Anomalien und fehlerhafte Etikettierungen, was für state-of-the-art Transformers Herausforderungen darstellt. In dieser Arbeit wird Protoformer vorgestellt, ein neuartiges Self-Learning-Framework für Transformers, das problematische Beispiele für die Textklassifikation nutzen kann. Protoformer verfügt über einen Auswahlmechanismus für Embedding-Beispiele, der es uns ermöglicht, Anomalien-Prototypen und schwierige Klassen-Prototypen effizient zu extrahieren und zu nutzen. Diese Fähigkeiten werden an Datensätzen mit unterschiedlichen textuellen Strukturen (z. B. Twitter, IMDB, ArXiv) demonstriert. Zudem wurde das Framework auf mehrere Modelle angewendet. Die Ergebnisse zeigen, dass Protoformer bestehende Transformers in verschiedenen empirischen Szenarien verbessern kann.