要約
信頼性のあるAIシステムにおいて、効果性と解釈可能性は重要な特性の2つです。最近の視覚的推論に関する研究の大半は、予測された答えの精度向上に焦点を当てており、決定の背後にある理由を説明する点には十分な注意が払われていません。その結果、これらの研究では、視覚的およびテキストデータに基づいて実際の推論を行う代わりに、偶発的なバイアスを利用することが一般的であり、両モダリティから重要な情報を考慮して決定プロセスを説明する能力はまだ十分に開発されていません。本論文では、このギャップを3つの異なる観点から埋めることを目指します。第一に、新しいタイプのマルチモーダル説明を定義し、これは推論プロセスを段階的に追跡し、画像内のキーワードを根拠として説明することを特徴とします。私たちは異なる推論ステップを順次実行する機能プログラムを開発し、1,040,830件のマルチモーダル説明が含まれる新しいデータセットを作成しました。第二に、視覚的およびテキストモダリティ間で重要なコンポーネントを緊密に結合する必要性を特定し、単語と関心領域（Region of Interest, ROI）間の対応関係を明示的にモデル化する新しい説明生成手法を提案します。これにより視覚的根拠付け能力が大幅に向上し、解釈可能性と推論性能が向上します。第三に、私たちが開発した新しいデータと手法を使用して、マルチタスク学習や転移学習など異なる設定における説明の効果性について広範な分析を行いました。当該コードとデータは以下のURLで公開されています: https://github.com/szzexpoi/rex.