NDDR-CNN: ニューラル差別次元削減によるマルチタスクCNNの層間特徴量融合

本論文では、汎用的なマルチタスク学習（MTL）に向けた新しい畳み込みニューラルネットワーク（CNN）の構造を提案します。この構造は、異なるタスクから各層で自動的に特徴量を融合することができます。これは、最も広く使用されているMTLのCNN構造とは対照的であり、後者では特定の層（例えば、最後の畳み込み層以外のすべての特徴量）において経験的または直感的に特徴量を共有しています。提案する層間特徴量融合スキームは、既存のCNNコンポーネントを新しい方法で組み合わせることによって定式化され、判別次元削減として明確な数学的解釈を持つため、「ニューラル判別次元削減（NDDR）」と呼ばれています。具体的には、まず異なるタスクから同一の空間解像度を持つ特徴量をチャンネル次元に基づいて連結します。その後、1x1畳み込み、バッチ正規化、および重み減衰を使用することで、判別次元削減が単一のCNN内で達成できることを示します。既存のCNNコンポーネントを使用することにより、提案するNDDRレイヤーはエンドツーエンドでの学習が可能となり、「プラグアンドプレイ」方式で様々な最先端のCNNアーキテクチャに拡張できます。詳細なアブレーション分析により、提案するNDDRレイヤーは学習が容易であるだけでなく、異なるハイパーパラメータに対しても堅牢であることが示されています。異なるタスクセットと様々なベースネットワークアーキテクチャを使用した実験では、提案手法の有望な性能と望ましい汎化能力が確認されました。本論文のコードは https://github.com/ethanygao/NDDR-CNN で入手可能です。