Command Palette

Search for a command to run...

4달 전

LAMV: 커널화된 시간층을 활용한 비디오 정렬 및 매칭 학습

{Hervé Jégou Rita Cucchiara Matthijs Douze Lorenzo Baraldi}

LAMV: 커널화된 시간층을 활용한 비디오 정렬 및 매칭 학습

초록

이 논문은 비디오를 비교하고 정렬하기 위한 학습 가능한 접근법을 제안한다. 우리의 아키텍처는 신경망 내부의 시간적 매칭 커널을 기반으로 하되, 이를 재검토하고 발전시킨다. 구체적으로, 두 벡터 시퀀스 간의 유사도 점수를 시간에 민감한 유사도 측도(푸리에 도메인에서 매개변수화된)에 따라 최대화함으로써 시간적 정렬을 찾는 새로운 시간층을 제안한다. 이 시간층은 시간적 제안 전략을 통해 학습되며, 정렬 정확도와 인식률을 모두 고려한 트리플릿 손실을 최소화하는 방식으로 학습된다. 제안된 방법은 비디오 정렬, 복사 탐지, 이벤트 검색 작업에서 평가되었으며, 비교 가능한 설정에서 최신 기술을 능가하는 성능을 보였다. 특히 특정 이벤트 검색에 있어서는 보고된 최고 성능을 달성하면서도 정확한 비디오 정렬을 가능하게 했다.

벤치마크

벤치마크방법론지표
video-alignment-on-msu-video-alignment-andTMK
Accuracy w/ 3 frames error (Hard): 0.0554
Accuracy w/ 3 frames error (Light): 0.0571
Accuracy w/ 3 frames error (Medium color): 0.0607
Accuracy w/ 3 frames error (Medium geometric): 0.0446
video-retrieval-on-fivr-200kLAMV
mAP (CSVR): 0.466
mAP (DSVR): 0.496
mAP (ISVR): 0.371

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
LAMV: 커널화된 시간층을 활용한 비디오 정렬 및 매칭 학습 | 연구 논문 | HyperAI초신경