要約
端から端までのシステムでテキスト表現を構築することを学習することは困難であり、自然言語は非常に組み立て可能（compositional）であり、タスク固有の注釈付きデータセットはしばしばサイズが限られているためです。言語の組み立てを直接監督する方法を使用することで、既存の知識に基づいてモデルをガイドし、より堅牢で解釈可能な表現へと正規化することができます。本論文では、異なる粒度での目的関数がどのように使用されてより良い言語表現を学習できるかを調査し、文とトークンのラベル付けを共同で学習するアーキテクチャを提案します。各レベルでの予測は注意メカニズムを使用して組み合わされ、トークンレベルのラベルは文レベルの表現の組み立てに対する明示的な監督としても機能します。実験結果によると、複数のレベルでこれらのタスクを共同で学習することで、モデルは文分類とシーケンスラベリングの両方において大幅な改善を達成しています。注：「compositional」は一般的に「組み立て可能」と訳されることが多いですが、「合成的」や「構成的」という訳も可能です。ただし、「組み立て可能」の方が自然言語処理の文脈ではよく使われます。