Poly-NL：多項式を用いた線形計算量非局所層

空間的自己注意（Spatial self-attention）層は、非局所ブロック（Non-Local blocks）の形をとり、すべての可能な位置間におけるペアワイズ類似度を計算することで、畳み込みニューラルネットワーク（Convolutional Neural Networks）に長距離依存関係を導入する。このようなペアワイズ関数が非局所層の有効性を支えている一方で、空間的・時間的両面において入力サイズに二次的に比例する計算量という制約をもたらす。これは実用上、中程度のサイズの入力に対しても非局所ブロックの適用を著しく制限する要因となっている。従来の研究では、基盤となる行列演算を変更することで計算量の削減に取り組んできたが、本研究では、非局所層の表現力は完全に保持しつつ、計算量を線形に抑えることを目的とする。本研究では、非局所ブロックを3次多項式関数の特別なケースとして定式化することで、ペアワイズ類似度の直接計算を要素ごとの積演算に置き換えることにより、計算量を二次から線形に低減しつつ、性能の低下を生じさせない新しい高速非局所ブロックを構築した。本手法を「Poly-NL」と命名し、画像認識、インスタンスセグメンテーション、顔検出といった複数のタスクにおいて、最先端の性能と同等の結果を達成しつつ、著しく低い計算負荷を実現している。