情報平面

情報平面（Information Plane: IP）は、深層ニューラルネットワークの学習過程において隠れ層の情報軌跡を二次元で表現したものです。座標軸は、入力と隠れ層の間の相互情報量と、出力と隠れ層の間の相互情報量です。IPを分析することで、ネットワークの内部情報処理メカニズムを解明し、モデルアーキテクチャや学習戦略を最適化し、モデルの性能と汎化能力を向上させることができます。IPの応用価値は、研究者が深層学習モデルの学習過程と情報伝達特性をより深く理解するための理論的なツールを提供することにあります。