ニューラルネットワークのトポロジー解析：ゲーム理論的アプローチ

人工ニューラルネットワークは、非常に異なる応用例において印象的な成功を収めています。ネットワークの成功にとって適切なアーキテクチャを選択することは重要な決定であり、通常は手動で行われます。単純な戦略として、大部分が完全に接続された大規模なアーキテクチャが選択され、これにより最適化戦略が適切な重みを見つけつつ過学習を避けることが期待されます。しかし、最終的なネットワークの大部分は冗長です。最良の場合、ネットワークの大部分が後続の推論には単に無関係になります。最悪の場合、高パラメータ化されたアー�キテクチャは適切な最適化を妨げ、ネットワークを欺くための対抗例を作りやすくします。無関係なアーキテクチャ部分を取り除く最初の一歩は、それらの部分を特定することにあります。これは個々のコンポーネント（例えばニューロン）の貢献度を測定する必要があります。先行研究では、ニューロンの重み分布を使用して貢献度を測定するヒューリスティック手法が一部成功していますが、理論的な理解には至っていません。そこで我々の研究では、ゲーム理論に基づく指標であるシャープリー値（Shapley Value: SV）を用いて人工ニューラルネットワークにおける関連部分と非関連部分を分離することを目指しています。我々はまず、ニューロンがコアルーション（coalition）を形成し、各ニューロンのコアルーションへの平均貢献度がシャープリー値となるような人工ニューラルネットワーク向けのコアルーションゲームを設計しました。シャープリー値が個々のニューロンの貢献度をどの程度正確に測定できるか評価するために、低貢献度のニューロンを取り除き、その影響をネットワーク性能で測定しました。実験結果から、シャープリー値が他のヒューリスティック手法よりも優れた性能でニューロンの貢献度を測定できることを示しています。