ディープ多項式ニューラルネットワーク

深層畳み込みニューラルネットワーク（DCNNs）は、現在、コンピュータビジョンおよび機械学習分野において、生成的学習と識別的学習の両方において最も有力な手法として広く採用されている。DCNNsの成功は、その構成要素（例えば、残差ブロック、リクティファイア、高度な正規化スキームなど）の慎重な選定に起因している。本論文では、多項式展開に基づく新たな関数近似手法であるΠ-Netsを提案する。Π-Netsは多項式ニューラルネットワークであり、出力が入力の高次多項式として表現される。未知のパラメータは、自然に高階テンソルとして表現され、共通因子を共有する集約的テンソル因子分解を通じて推定される。本研究では、パラメータ数を大幅に削減できる3種類のテンソル分解を導入し、それらが階層的ニューラルネットワークによって効率的に実装可能であることを示す。実験的に、Π-Netsが非常に表現力が高く、画像、グラフ、音声といった多様なタスクおよび信号において、非線形活性化関数を用いなくても良好な性能を発揮することを確認した。さらに、活性化関数と組み合わせて使用した場合、画像生成、顔認証、3Dメッシュ表現学習という3つの困難なタスクにおいて、最先端の性能を達成した。本研究のソースコードは、\url{https://github.com/grigorisg9gr/polynomial_nets} にて公開されている。