Grad-CAM: 勾配に基づく局所化を用いた深層ネットワークからの視覚的説明

私たちは、大規模なCNN（畳み込みニューラルネットワーク）ベースのモデルからの決定に対する「視覚的説明」を生成する技術を提案し、それらの透明性を高めることを目指しています。私たちの手法 - グラディエント加重クラス活性化マッピング（Grad-CAM）は、最終的な畳み込み層に流入する任意の目標概念のグラディエントを使用して、その概念を予測するために重要な画像領域を強調表示する粗い局所化マップを作成します。Grad-CAMは、以下の幅広いCNNモデルファミリーに適用可能です：(1) 全結合層を持つCNN、(2) 構造出力用のCNN、(3) 複数モーダル入力や強化学習で使用されるタスク向けのCNNで、アーキテクチャの変更や再学習なしで利用できます。画像分類モデルの文脈において、私たちの視覚化は (a) モデルの失敗パターンについて洞察を与え、(b) 敵対的画像に対して堅牢であり、(c) 局所化性能において以前の方法を上回り、(d) 基本となるモデルへの忠実度が高く、(e) データセットバイアスを特定することで汎化能力を向上させるのに役立ちます。キャプション生成と視覚的質問応答（VQA）については、注意機構に基づかないモデルでも入力を局所化できることが示されています。私たちはGrad-CAMを通じて重要なニューロンを識別する方法を開発し、それをニューロン名と組み合わせてモデル決定に対する文章による説明を提供します。最後に、Grad-CAMがユーザーがモデルからの予測に対して適切な信頼関係を確立するのに役立つかどうかを測定するために人間参加型研究を行いました。その結果、両者が同一の予測を行う場合でもGrad-CAMが未訓練ユーザーが「より強い」モデルと「より弱い」モデルを見分けるのに成功することを示しました。当該コードは https://github.com/ramprs/grad-cam/ で公開されており、デモは http://gradcam.cloudcv.org で利用可能であり、ビデオは youtu.be/COjUB9Izk6E でご覧いただけます。