テスト時の適応と訓練時の一般化：キーポイント推定を用いた人間のインスタンスセグメンテーションに関する事例研究

テスト画像の人物インスタンスセグメンテーションマスクの品質向上を目的として、キーポイント推定を使用する問題を取り上げる。本研究では、2つの異なるアプローチを比較する。最初のアプローチはテストタイム適応（Test-Time Adaptation: TTA）手法であり、単一のラベルなしテスト画像を使用してセグメンテーションネットワークの重みをテスト時に修正することを許可する。この手法では、ラベル付きソースデータセットへのテスト時のアクセスは想定していない。より具体的には、TTA手法はキーポイント推定値を疑似ラベルとして使用し、それらを逆伝播させてバックボーンの重みを調整することから構成される。2つ目のアプローチはトレーニングタイム一般化（Training-Time Generalization: TTG）手法であり、オフラインでラベル付きソースデータセットにアクセスすることは許可されるが、テスト時の重み修正は行われない。さらに、ターゲットドメインからの画像やその知識が利用可能であるとは想定していない。TTG手法は、キーポイントヘッドによって生成された特徴量をバックボーン特徴量に追加し、集約ベクトルをマスクヘッドに入力することから構成される。包括的なアブレーション実験を通じて、両方のアプローチを評価し、TTAの効果を制限するいくつかの要因を特定した。特に、ドメイン間の著しいシフトがない場合、TTAは性能に悪影響を与える可能性があり、TTGは僅かな性能向上しか示さない一方で、大きなドメインシフトがある場合、TTAの利点は小さく且つ使用されるヒューリスティックに依存しているが、TTGの利点は大きく且つアーキテクチャ選択に対して堅牢であることを示した。