要約
私たちは深層ネットワークの予測をその入力特徴に帰属付ける問題について研究しています。この問題はこれまでにも複数の研究で取り上げられてきました。私たちは、帰属付け手法が満たすべき2つの基本的な公理——感度（Sensitivity）と実装不変性（Implementation Invariance）——を特定しました。これらの公理は、既知の大部分の帰属付け手法によって満たされておらず、これはそれらの手法における根本的な弱点であると考えています。私たちはこれらの公理に基づいて、新しい帰属付け手法であるIntegrated Gradients（積分勾配）を開発しました。当手法は元のネットワークに何らかの変更を加える必要がなく、非常に簡単に実装できます。標準的な勾配演算子を数回呼び出すだけで済みます。私たちはこの手法を画像モデル、テキストモデル、および化学モデルに適用し、ネットワークのデバッグ能力、ネットワークから規則を抽出する能力、およびユーザーがモデルとよりよく対話できるようにする能力を示しました。