DMT：semi-supervised learning における動的相互訓練

最近の半教師あり学習手法は、特に擬似ラベルを生成する自己訓練（self-training）手法を核心的なアイデアとして採用している。しかし、擬似ラベルは信頼性が低い。自己訓練手法は通常、単一モデルの予測信頼度に基づいて信頼度の低い擬似ラベルをフィルタリングするが、この方法では信頼度の高い誤り（high-confidence errors）が残存し、また信頼度が低いが正解のラベルが多数無駄にされるという問題がある。本論文では、モデル自身が自らの誤りを是正することは困難であると指摘する。代わりに、異なるモデル間の予測不一致（inter-model disagreement）を活用することが、擬似ラベルの誤りを特定する鍵であると提唱する。この新たな視点に基づき、動的に再重み付けされる損失関数を用いて、2つの異なるモデル間で相互に学習を行う「Dynamic Mutual Training（DMT）」を提案する。DMTでは、2つの異なるモデルの予測を比較することでモデル間不一致を定量化し、学習中の損失を動的に再重み付けする。不一致が大きいほど、そのサンプルは誤りの可能性が高く、対応する損失値は低くなる。広範な実験により、DMTは画像分類およびセマンティックセグメンテーションの両タスクにおいて、最先端の性能を達成することが示された。本研究のコードは、https://github.com/voldemortX/DST-CBC にて公開されている。