ParCo：パーツ協調型テキストからモーションへの合成

我々は、テキスト記述に一致する動きを生成し、協調的な運動を実現することを目的とする挑戦的なタスクである「テキストから運動への変換（text-to-motion synthesis）」を研究する。現在の部分ベース（part-based）な手法は、運動生成プロセスに「部分（part）の分割」を導入することで、より細粒度な運動生成を実現している。しかし、これらの手法は、異なる部分の運動間の協調性の欠如や、ネットワークが部分の概念を正しく理解できないという課題に直面している。さらに、より細粒度な部分概念を導入することは、計算上の複雑性を増大させるという問題も伴う。本論文では、部分運動の理解能力および異なる部分運動生成器間のコミュニケーション能力を強化した「部分協調型テキストから運動への変換（Part-Coordinating Text-to-Motion Synthesis, ParCo）」を提案する。具体的には、全身運動を複数の部分運動に離散化することで、各部分の事前概念（prior concept）を構築する。その後、異なる部分運動を合成するための複数の軽量な生成器を用い、それらを我々が設計した「部分協調モジュール（part coordination module）」によって協調させる。本手法は、HumanML3DやKIT-MLといった一般的なベンチマークにおいて、計算コストを抑えた状態で優れた性能を示しており、その有効性を強く裏付けている。コードは、https://github.com/qrzou/ParCo にて公開されている。