有効受容 field を用いたデッドピクセルテスト

ディープニューラルネットワークはさまざまな分野で活用されているが、その内部挙動については十分に解明されていない。本研究では、畳み込みニューラルネットワーク（CNN）の2つの直感に反する挙動について検討する。第一に、受容 field（受容領域）のサイズについて評価を行った。従来の研究では、受容領域のサイズを拡大または制御することに注力してきた。しかし、本研究では受容領域のサイズが分類精度を説明しないことを確認した。受容領域のサイズは、ネットワークの深さやカーネルサイズといった要素のみを反映しており、幅（width）や基数（cardinality）といった他の要因を考慮していないため、性能優位性を適切に表現する指標としては不適切である。第二に、有効受容領域（effective receptive field）を用いて、出力に寄与するピクセルを分析した。直感的には、各ピクセルが最終出力に均等に寄与するものと期待されるが、実際には出力への寄与が極めて小さい「部分的に機能不全状態」のピクセルが存在することが明らかになった。この現象の原因はCNNのアーキテクチャに起因することを明らかにし、その緩和策について議論する。興味深いことに、一般的な分類タスクにおいては、こうした機能不全ピクセルの存在がCNNの学習を促進する効果がある。一方、微小な摂動を捉えるタスクでは、これらのピクセルが性能を低下させる。したがって、CNNの実用的応用においては、こうした「死んだピクセル（dead pixels）」の存在を理解し、適切に考慮する必要がある。