CrossWeigh: 不完全アノテーションからの名詞句タグ付けの学習

誰しもが間違いを犯します。人間のアノテーターが名詞認識（NER）のラベルを作成する際にも同様です。このようなラベルの誤りはモデルの学習に悪影響を与え、モデルの比較を妨げる可能性があります。本研究では、広く採用されているNERベンチマークデータセットであるCoNLL03 NERに焦点を当て、深く調査しました。約5.38%のテスト文にラベルの誤りがあることを確認できました。これは、最先端のテストF1スコアがすでに約93%であることを考慮すると、非常に高い割合です。したがって、私たちはこれらのラベルの誤りを手動で修正し、よりクリーンなテストセットを作成しました。この修正されたテストセットでの人気モデルの再評価により、元のテストセットと比較してより正確な評価が得られました。さらに重要なのは、学習中にラベルの誤りを処理するための単純ながら効果的なフレームワークCrossWeighを提案したことです。具体的には、訓練データを複数の分割（folds）に分け、独立したNERモデルを訓練して各分割内の潜在的な誤りを特定します。その後、訓練データの重みを調整して最終的なNERモデルを訓練します。広範な実験結果は、提案したフレームワークを使用することで3つのデータセット上で様々なNERモデルに显著な改善が見られたことを示しています。すべての実装と修正済みテストセットは私たちのGitHubリポジトリで公開されています: https://github.com/ZihanWangKi/CrossWeigh.