DyFADet: 시계열 행동 검출을 위한 동적 특징 집합

최근 제안된 신경망 기반 시계열 행동 감지(TAD) 모델들은 공유 가중치 감지 헤드를 사용하여 복잡한 장면에서 차별적인 표현을 추출하고 다양한 길이의 행동 인스턴스를 모델링하는 데 본질적으로 한계가 있습니다. 동적 신경망의 성공 사례에 영감을 받아, 이 논문에서는 서로 다른 시간점에서 커널 가중치와 수용 범위를 동시에 적응시키는 새로운 동적 특성 집합(DFA) 모듈을 구축합니다. DFA를 기반으로 제안된 동적 인코더 레이어는 행동 시간 범위 내에서 시계열 특성을 집합화하고 추출된 표현의 차별성을 보장합니다. 또한 DFA를 사용하면 조정된 매개변수와 학습된 수용 범위로 다중 스케일 특성을 적응적으로 집합화하여 비디오에서 다양한 범위의 행동 인스턴스를 더 잘 감지할 수 있는 동적 TAD 헤드(DyHead) 개발에 도움이 됩니다. 제안된 인코더 레이어와 DyHead를 통해 새로운 동적 TAD 모델인 DyFADet은 HACS-Segment, THUMOS14, ActivityNet-1.3, Epic-Kitchen 100, Ego4D-Moment Queries V1.0, FineAction 등 일련의 도전적인 TAD 벤치마크에서 유망한 성능을 달성했습니다. 코드는 https://github.com/yangle15/DyFADet-pytorch 에 공개되었습니다.