スロットフィリング（SF）は、音声言語理解（SLU）のサブタスクの一つであり、与えられた自然言語発話から意味的構成要素を抽出することを目的としている。このタスクはシーケンスラベル付け問題として定式化される。近年、文脈情報がこのタスクにおいて極めて重要であることが示されている。しかし、従来のモデルは文脈情報を限定的な方法、例えば自己注意機構（self-attention）を用いることで扱っている。このような手法は、文脈が単語表現に与える影響と単語ラベルに与える影響を区別できないという課題を抱えている。本論文では、この問題に対処するため、文脈情報を「表現レベル」と「タスク特有（すなわちラベル）レベル」の2つの異なるレベルにわたり組み込む新しい手法を提案する。我々は、SFに関する3つのベンチマークデータセット上で広範な実験を行い、提案手法の有効性を検証した。その結果、すべてのベンチマークデータセットにおいて、SFタスクにおける新たな最良性能（SOTA）を達成した。