要約
教師-生徒フレームワークは、半教師付きセマンティックセグメンテーションにおいて広く用いられており、主に指数移動平均（EMA）を用いて、生徒モデルの重みに基づいて教師モデルの重みを更新する。しかし、EMAによる更新は教師と生徒の重みが相互に結合（カップリング）してしまう問題を引き起こす。この問題は、アノテーションデータが少ない状況で、より複雑なラベル（例：セグメンテーションマスク）を用いて学習を行う場合、さらに顕著になる。本論文では、このカップリング問題を軽減することを目的として、二つの一時的教師（temporary teachers）を用いる「Dual Teacher」というシンプルでありながら有効なアプローチを提案する。これらの一時的教師は交代制で動作し、段階的に性能を向上させることで、教師と生徒の重みが過度に近づくのを継続的に防ぐ。具体的には、一時的教師が周期的に交互に擬似ラベルを生成し、生徒モデルを学習させる。これにより、各エポックにおいて生徒モデルの特徴が一貫して異なる性質を維持できる。その結果、Dual TeacherはPASCAL VOC、Cityscapes、ADE20Kのベンチマークにおいて、最先端の手法と比較して著しく短い訓練時間で競争力のある性能を達成した。さらに、本手法がモデルに依存せず、CNNおよびTransformerベースのモデルの両方と互換性があることを実証した。コードは以下のURLで公開されている：https://github.com/naver-ai/dual-teacher。