Command Palette
Search for a command to run...
FlexConv: 連続カーネル畳み込みと微分可能なカーネルサイズ
FlexConv: 連続カーネル畳み込みと微分可能なカーネルサイズ
David W. Romero∗1, Robert-Jan Bruintjes∗2, Erik J. Bekkers3, Jakub M. Tomczak1, Mark Hoogendoorn1, Jan C. van Gemert2
概要
畳み込みニューラルネットワーク(CNNs)を設計する際には、学習前に畳み込みカーネルのサイズを選択する必要があります。最近の研究では、異なる層で異なるカーネルサイズを使用することでCNNが恩恵を受けることが示されていますが、実際にはすべての可能な組み合わせを探索することは非現実的です。より効率的なアプローチは、学習中にカーネルサイズを学習することです。しかし、カーネルサイズを学習する既存の手法は帯域幅に制限があります。これらの手法はカーネルを拡大することでスケーリングを行うため、記述できる詳細は限定的です。本研究では、固定パラメータコストで学習可能な高帯域幅の畳み込みカーネルを学習できる新しい畳み込み演算であるFlexConvを提案します。FlexNetsはプーリングを使用せずに長期依存関係をモデル化し、いくつかの逐次データセットで最先端の性能を達成し、学習されたカーネルサイズを持つ最近の手法よりも優れています。また、画像ベンチマークデータセットにおいても深層ResNetsと競争力のある性能を発揮します。さらに、FlexNetsは訓練時に使用した解像度よりも高い解像度での展開が可能です。エイリアシングを避けるために、我々はカーネルの周波数を解析的に制御できる新しいカーネルパラメータ化方法を提案します。この新しいカーネルパラメータ化方法は既存のパラメータ化方法よりも高い記述能力と速い収束速度を持ちます。これにより分類精度に重要な改善がもたらされます。