要約
機械学習モデルが広く採用されているにもかかわらず、その多くは依然としてブラックボックスのままである。予測の背後にある理由を理解することは、信頼性の評価において非常に重要であり、これは予測に基づいて行動を起こす計画がある場合や新しいモデルを導入するかどうかを選択する際の基本となる。このような理解はまた、モデルに対する洞察を提供し、それによって信頼できないモデルや予測を信頼できるものに変えることができる。本研究では、LIME（Locally Interpretable Model-agnostic Explanations）と呼ばれる新たな説明手法を提案する。この手法は、予測の周辺で解釈可能なモデルを学習することにより、任意の分類器の予測を解釈可能かつ忠実に説明する。さらに、代表的な個々の予測とその説明を冗長さなく提示することでモデルを説明する方法も提案し、このタスクをサブモジュラ最適化問題として定式化する。これらの手法の柔軟性を示すために、テキスト（例：ランダムフォレスト）や画像分類（例：ニューラルネットワーク）における異なるモデルの説明を行った。また、シミュレーション実験と人間被験者を使用した新規実験を通じて、信頼が必要な様々なシナリオでの説明の有用性を示している：予測に信頼できるかどうか決定する、モデル間で選択する、信頼できない分類器を改善する、およびなぜ分類器が信頼できないのか特定する。