要約
現在、畳み込みニューラルネットワーク（CNN）の転移性およびロバスト性に関する理論的・実用的な多くの問題が未解決のまま残っている。現在の研究はこれらの課題に多角的なアプローチで取り組んでいるが、ほとんどのコンピュータビジョン関連の研究において、これらのアプローチは画像データにおける分布シフト（distribution shift）の影響を調査する一般化可能な枠組みとして活用できる。このような文脈において、我々は学習済みCNNモデルの重みの分布の変化に着目し、そのシフトを分析することを提案する。特に、広く使用されている3×3畳み込みフィルターカーネルの分布特性に注目する。本研究では、多様なデータセット、アーキテクチャ、ビジョンタスクを用いて学習された数百のCNNから得られた14億個以上のフィルターを収集し、それを公開するデータセットを構築した。本データセットの初回応用として、実用的な応用に向けた多くの公開されている事前学習モデルの重要な性質を明らかにした。第一に、視覚的カテゴリ、タスク、アーキテクチャ、層の深さといったメタパラメータの異なる軸に沿った学習済みフィルター間の分布シフト（またはその非存在）を分析した。その結果、モデルの事前学習が、データサイズおよび分散の条件を満たす限り、任意のデータセット上で成功する可能性があると結論づけた。第二に、多くの事前学習モデルに、性能を低下させ、ターゲットアプリケーションにおけるファインチューニングに不適切な「退化した（degenerated）」フィルターが含まれていることを示した。データおよびプロジェクトウェブサイト：https://github.com/paulgavrikov/cnn-filter-db