ドメイン外の人間メッシュ再構築を動的バイレベルオンライン適応を用いて行う

新しい問題として、既存のSMPLベースのモデルが異なるカメラパラメータ、骨長、背景、および遮蔽によって表現される分布シフトの影響を大きく受けることから、ヒューマンメッシュ再構築モデルをドメイン外のストリーミング動画に適応させる課題を考えます。この問題に対処するために、オンライン適応という手法を用い、テスト中に徐々にモデルのバイアスを修正します。主な課題は二つあります：第一に、3D注釈の欠如により学習が難しくなり、3D上の曖昧さが生じます。第二に、非定常データ分布により、通常のフレームと重度の遮蔽や劇的な変化を持つハードサンプルとの間でバランスを取りにくくなります。これを解決するため、我々は動的二段階オンライン適応アルゴリズム（DynaBOA）を提案します。まず、利用できない3D注釈を補うために時間制約を導入し、次に多目的間の矛盾に対処するために二段階最適化手順を利用します。DynaBOAは効率的に取得された類似ソース例と共学習することで追加的な3Dガイダンスを提供し、分布シフトにもかかわらず対応します。さらに、個々のフレームにおける最適化ステップ数を適応的に調整できるため、ハードサンプルには完全に適合しつつも通常のフレームでは過学習を避けることができます。DynaBOAは三つのドメイン外ヒューマンメッシュ再構築ベンチマークにおいて最先端の結果を達成しています。