Ask2Transformers: Zero-Shot-Domänenkennzeichnung mit vorab trainierten Sprachmodellen

In dieser Arbeit stellen wir ein System vor, das verschiedene vortrainierte Sprachmodelle nutzt, um Domänenlabels den Synsets von WordNet ohne jede Art von Überwachung zuzuweisen. Des Weiteren ist das System nicht auf eine bestimmte Menge an Domänenlabels beschränkt. Wir nutzen das Wissen, das in verschiedenen fertigen vortrainierten Sprachmodellen und Aufgabenformulierungen kodiert ist, um das Domänenlabel einer spezifischen WordNet-Definition zu inferieren. Das vorgeschlagene Zero-Shot-System erreicht einen neuen Stand der Technik (state-of-the-art) auf dem englischen Datensatz, der in der Evaluation verwendet wurde.