要約
深層ニューラルネットワークは、データ分析と意思決定の自動化にますます利用されるようになっていますが、その意思決定プロセスは大部分不明であり、エンドユーザーに説明することが困難です。本論文では、画像を入力として受け取りクラス確率を出力する深層ニューラルネットワークにおける説明可能なAI（Explainable AI）の問題に取り組んでいます。私たちはRISE（Randomized Input Sampling for Explanation）と呼ばれるアプローチを提案します。この方法は、モデルの予測に対して各ピクセルがどれだけ重要であるかを示す重要度マップを生成します。白箱アプローチとは異なり、RISEは勾配や他の内部ネットワーク状態を使用してピクセルの重要度を推定するのではなく、ブラックボックスモデルで動作します。RISEは、入力画像のランダムにマスクされたバージョンを使用してモデルを試験し、対応する出力を取得することで実証的に重要度を推定します。私たちは自動的な削除/挿入メトリクスと人間が注釈したオブジェクトセグメントに基づくポインティングメトリクスを使用して、最先端の重要度抽出手法との比較を行いました。いくつかのベンチマークデータセットでの広範な実験により、私たちのアプローチが他の手法（白箱アプローチも含む）に匹敵または優れた性能を示していることが確認されました。プロジェクトページ: http://cs-people.bu.edu/vpetsiuk/rise/