OpenPifPaf: セマンティックキーポイント検出および時空間関連付けのための複合フィールド

多くの画像ベースの認識タスクは、セマンティックキーポイント（例えば、人間の体勢推定と追跡）を検出、関連付け、追跡することとして定式化することができます。本研究では、単一ステージで空間的なキーポイント検出と時空間的なキーポイント関連付けを同時に行う一般的なフレームワークを提案します。これにより、初めてリアルタイムの姿勢検出と追跡アルゴリズムが実現しました。私たちはComposite Fields（複合フィールド）を使用して、複数フレームにわたるセマンティックキーポイント（例：人の体節点）から単一の連結グラフを構築する汎用的なニューラルネットワークアーキテクチャを提示します。時空間的な関連付けについては、Temporal Composite Association Field (TCAF) を導入し、これは以前のComposite Fieldsを超えた拡張されたネットワークアーキテクチャと学習方法を必要とします。私たちの実験結果は、COCO、CrowdPoseおよびPoseTrack 2017および2018データセットなどの複数の公開データセットにおいて競争力のある精度を示しており、その処理速度は従来の手法よりも1桁速くなっています。また、私たちの手法は車や動物の部位など任意のクラスのセマンティックキーポイントにも一般化可能であり、自動運転車や配送ロボットなどの都市モビリティに適した包括的な認識フレームワークを提供します。