構造化予測のための埋め込みの自動連結

事前学習された文脈依存埋め込みは、構造予測タスクのための強力な単語表現を提供します。最近の研究では、異なる種類の埋め込みを連結することでより良い単語表現が得られることを見出しています。しかし、最適な連結表現を形成するための埋め込み選択は通常、タスクと候補となる埋め込みの集合によって異なり、増加し続ける埋め込みの種類数により、この問題はますます困難になっています。本論文では、神経アーキテクチャ探索に関する最近の進歩に着想を得た方法に基づき、構造予測タスクのためにより良い埋め込みの連結を見つけるプロセスを自動化する「Automated Concatenation of Embeddings (ACE)」手法を提案します。具体的には、コントローラーがタスクに対する各埋め込みタイプの有効性に関する現在の信念に基づいて、異なる種類の埋め込みを交互にサンプリングし、報酬に基づいて信念を更新します。強化学習における戦略に従ってコントローラーのパラメータを最適化し、サンプリングされた連結表現を入力として受け取りタスクデータセットで訓練されたタスクモデルの精度に基づいて報酬を計算します。6つのタスクと21つのデータセットに対する実験結果は、当手法が強力な基準モデルを上回り、微調整された埋め込みを使用したすべての評価において最先端の性能を達成していることを示しています。