階層ベクトル量子化による教師なし行動分割

本研究では、無教師時系列アクションセグメンテーションに取り組んでいます。これは、長時間の未編集ビデオ群を、ビデオ間で一貫性のある意味的なセグメントに分割するタスクです。最近のアプローチでは、このタスクのために表現学習とクラスタリングを単一のステップで組み合わせていますが、同じクラス内の時系列セグメントにおける大きな変動に対応できていません。この制約を解決するために、階層ベクトル量子化（Hierarchical Vector Quantization: HVQ）という新しい手法を提案します。この手法は、2つの連続したベクトル量子化モジュールから構成されており、結果として階層的なクラスタリングが得られます。これにより、クラスタ内の変動をカバーする追加のサブクラスタが生成されます。我々は、提案手法が既存の最先端技術よりもセグメント長の分布をはるかに正確に捉えていることを示しています。そのために、無教師時系列アクションセグメンテーション用に新たな指標であるジェンセン-シャノン距離（Jensen-Shannon Distance: JSD）に基づくメトリクスを導入しました。我々は提案手法を3つの公開データセット、すなわちBreakfast、YouTube InstructionalおよびIKEA ASMで評価しました。評価結果はF1スコア、リコール率およびJSDにおいて既存の最先端技術を上回っています。