要約
意図検出（intent-detection）とスロット埋め込み（slot-filling）は、自然言語理解における2つの主要なタスクである。本研究では、意図検出およびスロット埋め込みのための新しいエンコーダ・デコーダ型アーキテクチャであるCTRANを提案する。エンコーダ部では、BERTを用い、その後に複数の畳み込み層を配置し、ウィンドウ特徴シーケンスを用いて出力を再構成する。その後、ウィンドウ特徴シーケンスの後にスタックされたTransformerエンコーダを配置する。意図検出用のデコーダには、自己注意機構（self-attention）を用い、その後に線形層を配置する。スロット埋め込み用のデコーダでは、ゼロ対角マスクを用いるアラインドTransformerデコーダを導入し、出力タグを入力トークンと整合させる。本手法をATISおよびSNIPSの2つのデータセットに適用した結果、両データセットにおいてスロット埋め込みの性能で既存の最先端技術を上回った。さらに、言語モデルを単語埋め込みとして組み込む戦略を採用したが、言語モデルをエンコーダとして用いる場合と比較して、より優れた結果が得られたことを示した。