Siyoon Jin Seongchan Kim Dahyun Chung Jaeho Lee Hyunwook Choi Jisu Nam Jiyoung Kim Seungryong Kim

要約

ビデオDiTsはビデオ生成技術を大幅に進展させたが、依然として複数のインスタンス間や主体-対象間の相互作用を適切にモデル化する困難に直面している。この問題から生じる核心的な問いは、「これらのモデルは内部的にどのように相互作用を表現しているのか？」である。この問いに答えるために、我々は相互作用に配慮したキャプションと複数インスタンスのマスクトラックを備えたビデオデータセット「MATRIX-11K」を構築した。このデータセットを用いて、ビデオDiTsの二つの観点を形式化した体系的な分析を実施した。一つは、ビデオからテキストへのアテンションを用いた「意味的接地（semantic grounding）」であり、名詞や動詞トークンがインスタンスおよびその関係を適切に捉えているかを評価する。もう一つは、ビデオからビデオへのアテンションを用いた「意味的伝播（semantic propagation）」であり、インスタンスの対応関係がフレーム間で継続的に維持されているかを評価する。その結果、これらの効果は相互作用を主導する層のわずかなサブセットに集中していることが明らかになった。この知見を受けて、我々はMATRIXを提案する。これは、MATRIX-11Kデータセットから得られた複数インスタンスのマスクトラックと一致するように、ビデオDiTsの特定の層におけるアテンションを正則化するシンプルかつ効果的な手法である。このアプローチにより、意味的接地と伝播の両面で性能が向上する。さらに、相互作用に配慮したビデオ生成を評価するための評価プロトコル「InterGenEval」を提案した。実験の結果、MATRIXは相互作用の忠実度と意味的整合性を向上させるとともに、ドリフトや幻覚の発生を低減した。広範な消去実験により、本研究の設計選択の有効性が検証された。コードとモデル重みは公開予定である。