PathNet: 超ニューラルネットワークにおける勾配降下の進化チャネル

人工一般知能（AGI）において、複数のユーザーが同じ巨大なニューラルネットワークを訓練し、パラメータの再利用を可能にしながら、災害的な忘却（catastrophic forgetting）を防ぐことが効率的である。PathNetはこの方向への最初の一歩である。PathNetは、ニューラルネットワーク内に埋め込まれたエージェントを使用するアルゴリズムであり、これらのエージェントの役割は新しいタスクのためにネットワークのどの部分を再利用するかを見つけることである。エージェントはネットワークを通る経路（ビュー）であり、バックプロパゲーションアルゴリズムの前向きおよび後ろ向きのパスによって使用され、更新されるパラメータのサブセットを決定する。学習中には、トーナメント選択遺伝的アルゴリズムを使用してニューラルネットワーク内の経路を選択し、複製と突然変異を行う。経路の適応度は、コスト関数に基づいてその経路の性能を測定することで評価される。我々は転移学習の成功を示した；タスクAで学習された経路上のパラメータを固定し、タスクBに対して新しい経路集団を再進化させることにより、タスクBがゼロから学習する場合や微調整後の場合よりも早く学習できることが確認された。タスクBで進化した経路は、タスクAで最適に進化した経路の一部を使用している。バイナリMNIST、CIFAR、SVHN監督学習分類タスクとAtariおよびLabyrinth強化学習タスクにおいて正転移が示され、PathNetがニューラルネットワーク訓練に一般的な適用性を持つことを示唆している。最後に、PathNetは並列非同期強化学習アルゴリズム（A3C）のハイパーパラメータ選択に対する堅牢性も大幅に向上させる。