変形可能な畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNN）は、その構成モジュールに固定された幾何学的構造を持つため、幾何学的変換のモデリングに本質的な制限があります。本研究では、CNNの変換モデリング能力を向上させるために2つの新しいモジュールを導入します。すなわち、デフォーマブル畳み込み（deformable convolution）とデフォーマブルRoIプーリング（deformable RoI pooling）です。これらのモジュールは、空間サンプリング位置に追加のオフセットを加え、ターゲットタスクからオフセットを学習するというアイデアに基づいています。これにより、追加の教師なしで既存のCNNの通常の対応部分を容易に置き換えることができ、標準的なバックプロパゲーションによって端から端まで簡単に訓練できます。これによりデフォーマブル畳み込みニューラルネットワークが生成されます。広範な実験により、我々の手法が物体検出やセマンティックセグメンテーションなどの複雑な視覚タスクにおいて有効であることが確認されています。コードは公開される予定です。