Protoformer：Transformerにおけるプロトタイプの埋め込み

Transformerはテキスト分類において広く応用されている。しかし、実世界のデータには異常値やノイズを含む誤標記が存在し、これにより最先端のTransformerモデルに課題が生じる。本論文では、問題のあるサンプルを活用してテキスト分類を行う新たな自己学習フレームワーク「Protoformer」を提案する。Protoformerは埋め込み空間におけるサンプル選択メカニズムを特徴とし、異常値のプロトタイプおよび分類が困難なクラスのプロトタイプを効率的に抽出・利用することが可能である。本手法は、異なるテキスト構造を持つ複数のデータセット（例：Twitter、IMDB、ArXiv）において有効性を実証した。また、複数のモデルに本フレームワークを適用した結果、さまざまな実験設定において、既存のTransformerモデルの性能向上を達成できることを示した。