Ask2Transformers: 選定されたドメインラベリングを用いた事前学習言語モデルのゼロショット分類

本論文では、事前学習済み言語モデルを用いてWordNetの同義語集合にドメインラベルを割り当てる監督なしシステムを提案します。さらに、このシステムは特定のドメインラベルセットを使用することに制限されていません。我々は、異なる市販の事前学習済み言語モデルとタスク定式化に含まれる知識を利用して、特定のWordNet定義のドメインラベルを推論します。提案されたゼロショットシステムは、評価に使用された英語データセットにおいて新たな最先端の性能を達成しています。