SATS: 自己注意転送による継続的意味分割

多くの知能システムにとって、ますます多様な画像領域のセグメンテーションを継続的に学習する能力は望ましいものです。しかし、このような継続的な意味的セグメンテーションは、継続的な分類学習と同様に、深刻な忘却問題（catastrophic forgetting）に悩まされています。既存の複数の知識蒸留戦略が継続的な分類学習から適応されて継続的な意味的セグメンテーションに適用されているものの、それらは深層完全畳み込みネットワークの1つまたは複数の層からの出力に基づく古い知識の転送のみを考慮しています。本研究では、既存の解決策とは異なり、新しいタイプの知識に関連する情報を転送することを提案します。すなわち、各画像内の要素（例：ピクセルや小さな局所領域）間の関係性です。これはクラス内およびクラス間の知識を捉えることができます。この関係性情報は、Transformerスタイルのセグメンテーションモデルにおける自己注意マップから効果的に取得できます。各画像内で同じクラスに属するピクセルがしばしば類似した視覚的特性を共有することを考えると、クラス固有の領域プーリングが適用され、知識転送のためにより効率的な関係性情報を提供します。多数の公開ベンチマークでの広範な評価により、提案された自己注意転送方法が深刻な忘却問題をさらに効果的に緩和できることを確認しました。また、この方法を1つまたは複数の広く採用されている戦略と柔軟に組み合わせることで、最先端のソリューションを大幅に上回ることが示されました。