要約
データセットバイアスおよび誤った相関関係は、深層ニューラルネットワークにおける一般化性能に著しい悪影響を及ぼすことがある。これまでの多くの研究では、稀なパターンに注目するための代替的な損失関数やサンプリング戦略を用いてこの問題に取り組んできた。本研究では、新たなアプローチを提案する。すなわち、ネットワーク構造を変更することで、データセットバイアスに対して頑健なインダクティブバイアスを導入する方法である。具体的には、シンプルな解を意図的に好むように設計された「OccamNets」を提案する。OccamNetsには2つのインダクティブバイアスが備わっている。第一に、個々の入力例に対して必要な最小限のネットワーク深さを使用する傾向がある。第二に、予測に用いる画像領域の数を最小限に抑える傾向がある。OccamNetsはシンプルな仮説を好むが、必要に応じてより複雑な仮説も学習可能である。実験の結果、OccamNetsは、これらのインダクティブバイアスを組み込まない従来のアーキテクチャ上で実行された最先端手法と比較して、性能が上回るか、同等の結果を達成した。さらに、最先端のバイアス低減手法とOccamNetsを組み合わせることで、さらに性能の向上が示された。