ニューラルネットワークの成功は、特徴量エンジニアリングからアーキテクチャエンジニアリングへの焦点の移動を促しました。しかし、今日の成功したネットワークは、少数の手動で定義された構成要素を使用して構築されています。また、ニューラルアーキテクチャサーチ（NAS）の方法においても、ネットワークの接続パターンは大部分が制約されています。本研究では、ニューラル接続を発見する手法を提案します。層という概念を緩和し、チャンネルが互いに独立して接続を形成できるようにすることで、より大きな可能性のあるネットワーク空間を実現します。当社のネットワークの配線は訓練中に固定されません——ネットワークパラメータを学習する際には同時に構造自体も学習されます。実験結果は、当社が学習した接続が手動で設計されたものやランダムに配線されたネットワークよりも優れていることを示しています。MobileNetV1 の接続性を学習することにより、約41M FLOPsでImageNet精度が10%向上しました。さらに、当社の手法はリカレントネットワークや連続時間ネットワークにも一般化可能であることを示しています。本研究はまた、NAS問題の核心的な側面と疎なニューラルネットワーク学習との統合としても捉えられます。NASがより細分化されるにつれて、良いアーキテクチャを見つけることは完全グラフの中から疎なサブネットワークを見つけることに類似します。これに対応して、DNW（Dynamic Neural Wirings）は単一の訓練プロセスで事前に定義されたアーキテクチャ内の疎なサブネットワークを見つけるための効果的なメカニズムを提供します。順方向パス中には常に小さな割合の重みのみを使用していますが、「初期化くじ」に相当する組み合わせ数多くのサブネットワークを利用することができます。コードと事前学習済みモデルは https://github.com/allenai/dnw で利用可能です。追加の可視化資料については https://mitchellnw.github.io/blog/2019/dnw/ をご参照ください。