17日前

Few-Shot NERのためのタスク固有の事前学習を備えたマルチタスク意味分解フレームワーク

Guanting Dong, Zechen Wang, Jinxu Zhao, Gang Zhao, Daichi Guo, Dayuan Fu, Tingfeng Hui, Chen Zeng, Keqing He, Xuefeng Li, Liwen Wang, Xinyue Cui, Weiran Xu
Few-Shot NERのためのタスク固有の事前学習を備えたマルチタスク意味分解フレームワーク
要約

少数ショット命名エンティティ認識(few-shot NER)の目的は、限られたラベル付きサンプルを用いて命名エンティティを同定することである。従来の研究では、従来のトークン単位分類フレームワークの最適化に主眼が置かれてきたが、NERデータの特性に基づく情報の探索には十分な注目が払われていなかった。この問題に対処するため、本研究では、ジョイントタスク固有の事前学習を活用したマルチタスク意味分解フレームワーク(MSDP: Multi-Task Semantic Decomposition Framework)を提案する。デモンストレーションベース学習および対照学習(contrastive learning)の知見から着想を得て、新たな2つの事前学習タスク、すなわちデモンストレーションベースのマスク言語モデル(Demonstration-based Masked Language Modeling, MLM)とクラス対照的識別(Class Contrastive Discrimination)を導入した。これらのタスクは、エンティティの境界情報を効果的に組み込み、事前学習言語モデル(PLM)におけるエンティティ表現を強化する。下流の主要タスクでは、意味分解手法を組み込んだマルチタスク統合最適化フレームワークを採用することで、モデルが異なる2種類の意味情報を統合してエンティティ分類を行うことを可能にした。2つの少数ショットNERベンチマークにおける実験結果から、MSDPが強力なベースラインを大きく上回ることが示された。さらに、広範な分析により、MSDPの有効性および汎化能力が確認された。

Few-Shot NERのためのタスク固有の事前学習を備えたマルチタスク意味分解フレームワーク | 最新論文 | HyperAI超神経