Command Palette
Search for a command to run...
フレームの連鎖
チェーン・オブ・フレーム(CoF)は、2025年5月にニューヨーク大学アブダビセンター、チューリッヒ工科大学(ETH)および米国陸軍研究所のチームによって共同で提案されました。関連する研究成果は「…」と題された論文に掲載されました。フレームの連鎖:フレーム認識推論によるマルチモーダルLLMにおけるビデオ理解の向上”。
大規模言語モデルの分野では、思考連鎖によってモデルが推論問題を処理することが可能になります。LLMにおける思考連鎖と同様に、フレーム連鎖は、時間と空間をまたいだ段階的な推論を必要とする視覚的問題をビデオモデルが解決することを可能にします。既存のビデオCoT手法とは異なり、CoFは関連フレームの選択や記述に追加のネットワークを必要としません。実験では、CoFベースのモデルがキーフレームを正確に参照する連鎖推論を生成できることが示されており、複数のビデオ理解ベンチマークにおいてパフォーマンスの向上と錯視率の大幅な低減が達成されています。CoFの導入は、ビデオモデルが統一された汎用的な視覚基盤モデルになるプロセスを加速させます。