11日前
最大ベイズスムッチエンセムブル・ディスティルレーションによるAMR解析
Young-Suk Lee, Ramon Fernandez Astudillo, Thanh Lam Hoang, Tahira Naseem, Radu Florian, Salim Roukos

要約
過去3年間、AMR解析(AMR parsing)の性能は、アーキテクチャの改善や転移学習などの要因が複合的に作用した結果、前例のないほど飛躍的な向上を遂げてきた。また、自己学習(self-learning)技術も性能向上に寄与してきた。しかし、近年の高性能な解析器の多くにおいて、自己学習やシルバーデータ拡張(silver data augmentation)の効果は徐々に薄れてきている。本論文では、このシルバーデータ拡張の限界を克服するため、Smatchに基づくアンサンブル手法とアンサンブル蒸留(ensemble distillation)を組み合わせる手法を提案する。広範な実験設定において、単一モデルの英語AMR解析性能を新たな最優秀水準、AMR2.0では85.9、AMR3.0では84.3まで向上させるとともに、再びシルバーデータ拡張から顕著な性能向上を達成した。さらに、中国語、ドイツ語、イタリア語、スペイン語におけるクロスリンガルAMR解析でも、新たな最優秀水準を達成した。最後に、提案手法がドメイン適応への影響について検証し、QALD-9において人間ラベル付きデータに匹敵する性能向上を実現したほか、BioAMRにおいても新たな最優秀水準を達成した。