深層学習を用いた確率的推論：ニューラル関連モデル

本論文では、人工知能における確率的推論のための新しい深層学習手法であるニューラル関連モデル（Neural Association Model: NAM）を提案します。我々は、ニューラルネットワークを使用して、領域内の任意の2つのイベント間の関連性をモデル化することを提唱します。ニューラルネットワークは1つのイベントを入力とし、他のイベントの条件付き確率を計算することで、これらの2つのイベントが関連する可能性をモデル化します。条件付き確率の実際の意味はアプリケーションによって異なり、モデルがどのように訓練されたかに依存します。本研究では、2つのケーススタディとして、深層ニューラルネットワーク（Deep Neural Networks: DNN）と関係調節型ニューラルネットワーク（Relation-Modulated Neural Nets: RMNN）という2つのNAM構造について、AIにおけるいくつかの確率的推論タスク（テキスト的包含関係認識、多関係知識ベースでの三項分類、常識推論など）で調査を行いました。WordNet, FreeBase, ConceptNetから派生したいくつかの人気データセットでの実験結果は、DNNとRMNNが同等の性能を示し、これらの推論タスクに対する従来の手法を大幅に上回ることが確認されました。さらに、DNNと比較してRMNNは知識転送において優れています。事前学習済みモデルはわずかな訓練サンプルのみを観測した後でも未見の関係に対して迅速に拡張できます。提案手法の有効性をさらに証明するために、本研究ではNAMをウィノグラードスキーマ（Winograd Schema: WS）問題の解決に適用しました。一連のWS問題に対する実験結果は、提案手法が常識推論に潜在的な能力を持つことを示しています。