テスト時適応におけるエントロピーの限界：分離因子の観点から

テスト時適応（Test-time adaptation, TTA）は、事前学習済みの深層ニューラルネットワークを、未知のテストデータに適合させるための微調整手法である。TTAの主な課題は、オンライン更新においてテストデータ全体へのアクセスが制限されていることにより、誤差の蓄積が生じることである。これを緩和するため、従来のTTA手法は、モデル出力のエントロピーを信頼度指標として用いて、誤差を引き起こす可能性が低いサンプルを特定することを目指していた。しかし、実験的な検証を通じて、本研究では、偏りのある状況下においてエントロピーがTTAにおける信頼度指標として信頼できないことを観察した。さらに理論的に、これはデータの潜在的かつ分離可能な要因（latent disentangled factors）が予測に与える影響を無視していることに起因することを明らかにした。これらの知見に基づき、本研究では新たな信頼度指標「疑似ラベル確率差（Pseudo-Label Probability Difference, PLPD）」を提案し、それを活用する新しいTTA手法「Destroy Your Object（DeYO）」を導入する。PLPDは、物体破壊変換（object-destructive transformation）を適用前後での予測の差分を測定することで、物体の形状が予測に与える影響を定量化する。DeYOは、サンプル選択とサンプル重み付けの2つのモジュールから構成され、エントロピーとPLPDを併用して運用する。堅牢な適応を実現するため、DeYOは予測において形状情報が主に寄与しているサンプルを優先的に選択する。広範な実験により、偏りのある状況や実世界（wild）の複雑な環境を含むさまざまなシナリオにおいて、DeYOがベースライン手法を一貫して上回る性能を発揮することが確認された。プロジェクトページは公開されており、以下よりアクセス可能である：https://whitesnowdrop.github.io/DeYO/。