要約
我々は参照を明示的な確率的潜在変数として扱う言語モデルの一般的なクラスを提案します。このアーキテクチャにより、モデルは外部データベース（例えば、対話生成やレシピ生成に必要）や内部状態（例えば、共参照を認識する言語モデルに必要）にアクセスして、エンティティとその属性への言及を作成することができます。これにより、参照の対象が稀な単語であっても、データベースやディスコースコンテキストで予測可能な位置からアクセスできる情報を組み込むことが容易になります。3つのタスクにおける実験結果は、確定的注意に基づく当該モデルのバリエーションが有効であることを示しています。