要約
意味的型付け（Semantic typing）は、テキストコンテキスト内のトークンやスパンを、関係、エンティティ型、イベント型などの意味的カテゴリに分類することを目的としています。この手法によって得られる意味的カテゴリのラベルは、機械がテキストの構成要素をどのように理解しているかを意味的に解釈する上で重要な役割を果たします。本論文では、入力とラベルを共通の意味的埋め込み空間に投影することで、ラベルの意味情報を捉える統合型フレームワーク「UniST」を提案します。異なる語彙的および関係的意味型付けタスクを統一されたタスクとして定式化するため、タスクの説明を入力と jointly に符号化するアプローチを採用しており、これによりタスク固有のモデル構成を追加せずに異なるタスクに適応可能となっています。UniSTはマージン順位損失（margin ranking loss）を最適化することで、入力とラベルの意味的類似性がその埋め込み空間における類似性に反映されるように設計されています。実験の結果、UniSTはエンティティ型付け、関係分類、イベント型付けの3つの意味的型付けタスクにおいて優れた性能を達成することが示されました。さらに、UniSTはラベルの意味的知識を効果的に転移し、めったに見られないあるいは未見の型の推論においても著しく一般化能力を向上させます。また、複数の意味的型付けタスクを統一されたフレームワーク内で共同学習可能であり、専用の単一タスクモデルと同等の性能を発揮する小型でコンパクトなマルチタスクモデルを実現しつつ、さらに優れた転移性を提供することが可能となります。