アクションセグメンテーションにおける統合自己教師付き時系列ドメイン適応

最近の完全教師あり行動分割技術の進展にもかかわらず、その性能はまだ十分に満足できるものとは言えない。主な課題の一つは、空間時間的変動（たとえば、同じ行動を異なる人物が多様な方法で実行する場合）に起因するものである。この問題に対処するために、我々はラベルなし動画を活用し、行動分割タスクを空間時間的変動によって引き起こされるドメイン差異を伴うクロスドメイン問題として再定式化する。ドメイン間の差異を低減するため、局所的および大域的な時間的ダイナミクスを含む特徴空間を共同で整列するための、2つの自己教師付き補助タスク（二値ドメイン予測および逐次ドメイン予測）を備えた自己教師付き時間的ドメイン適応（Self-Supervised Temporal Domain Adaptation; SSTDA）を提案する。これにより、他のドメイン適応（DA）手法と比較してより優れた性能が達成される。3つの困難なベンチマークデータセット（GTEA、50Salads、Breakfast）において、SSTDAは現在の最先端手法を大幅に上回る結果を示した（F1@25スコアにおいて、Breakfastでは59.6%から69.1%、50Saladsでは73.4%から81.5%、GTEAでは83.6%から89.1%へと向上）。また、同等の性能を得るためにはラベル付き学習データの65%のみで済むことから、変動を経てラベルなしターゲット動画に適応する手法の有効性が示された。ソースコードは以下のURLで公開されている：https://github.com/cmhungsteve/SSTDA。