프레임 체인(CoF)은 2025년 5월 뉴욕대 아부다비 센터, 취리히 연방공과대학교, 그리고 미 육군 연구소의 연구팀이 공동으로 제안했습니다. 관련 연구 결과는 "..."라는 제목의 논문으로 발표되었습니다.프레임 체인: 프레임 인식 추론을 통한 다중 모드 LLM에서 비디오 이해 향상".

대규모 언어 모델 분야에서 사고 사슬은 모델이 추론 문제를 처리할 수 있도록 합니다. LLM의 사고 사슬과 유사하게, 프레임 체인은 비디오 모델이 시간과 공간에 걸쳐 단계별 추론을 필요로 하는 시각적 문제를 해결할 수 있도록 합니다. 기존의 비디오 CoT 방식과 달리, CoF는 관련 프레임을 선택하거나 설명하기 위해 추가적인 네트워크에 의존하지 않습니다. 실험 결과, CoF 기반 모델은 키프레임을 정확하게 참조하는 연쇄 추론을 생성하여 성능을 향상시키고 여러 비디오 이해 벤치마크에서 착시 현상을 크게 줄일 수 있는 것으로 나타났습니다. CoF의 도입은 비디오 모델이 통합된 범용 시각적 기반 모델로 발전하는 과정을 가속화합니다.