より多くのEmbedding、より優れたSequence Labeler？

最近の研究では、非文脈的埋め込みよりも文脈的埋め込みの組み合わせにより、シーケンスラベリングの精度を著しく向上させる手法が提案されている。しかし、さまざまな設定において異なる種類の埋め込みを組み合わせることで、より優れたシーケンスラベラーを構築できるかどうかについては、明確な結論は得られていない。本研究では、18のデータセットおよび8の言語を対象に、3つのタスクにおいて広範な実験を行い、さまざまな埋め込みの連結によるシーケンスラベリングの精度を検証し、以下の3つの観察結果を得た。（1）リッチリソース環境およびクロスドメイン環境、また一部の低リソース環境では、より多くの埋め込みバリエーションを連結することで精度が向上する。（2）極めて低リソース環境では、文脈的サブワード埋め込みを文脈的文字レベル埋め込みに追加連結すると、精度が低下する。（3）（1）の結論に基づくと、類似した文脈的埋め込みをさらに連結しても、さらなる精度向上は得られない。これらの結論が、さまざまな設定においてより強力なシーケンスラベラーの構築に貢献することを期待する。