要約
動画の動的変化に関する因果関係および時系列的推論は、依然として困難な課題である。神経記号モデル（neuro-symbolic models）は、神経ネットワークを用いた認識・予測と記号的推論を組み合わせることで有望な成果を上げているが、特に反事実的（counterfactual）な質問に対しては限界が見られる。本稿では、イベント間の因果関係に関する記号的推論を活用することで、神経記号モデルの反事実的推論能力を向上させる手法を提案する。我々は、このような因果関係を表現するための「因果グラフ（causal graph）」の概念を定義し、記号的推論とシミュレーションモジュールの連携を最適化するため、記述的論理プログラミング手法であるAnswer Set Programming（ASP）を用いる。提案手法の有効性は、CLEVRERおよびCRAFTの2つのベンチマークにおいて検証された。CLEVRERチャレンジでは、既存モデルを大きく上回る最先端の性能を達成した。CRAFTベンチマークでは、動的シミュレータの代替として、GPT-3.5やGPT-4といった大規模事前学習言語モデルを活用した。その結果、記号的因果推論に基づく別バージョンのプロンプトを提供することで、反事実的質問に対する性能がさらに向上することが明らかになった。