경계 콘텐츠 그래프 신경망을 이용한 시점 행동 제안 생성

시점 행동 제안 생성은 비디오 행동 이해에서 중요한 역할을 합니다. 이는 고품질의 행동 내용을 정확히 위치시키는 것을 필요로 합니다. 그러나 정확한 경계와 고품질의 행동 내용을 모두 포함하는 시점 제안을 생성하는 것은 매우 어려운 문제입니다. 이러한 문제를 해결하기 위해, 우리는 그래프 신경망을 통해 시점 제안의 경계와 행동 내용 간의 통찰력 있는 관계를 모델링하는 새로운 경계 콘텐츠 그래프 신경망 (BC-GNN)을 제안합니다. BC-GNN에서, 시점 제안의 경계와 내용은 각각 그래프 신경망의 노드와 엣지로 취급되며, 이들은 자연스럽게 연결됩니다. 그런 다음 새로운 그래프 계산 연산이 제안되어 엣지와 노드의 특성을 업데이트합니다. 이를 통해 업데이트된 하나의 엣지와 그에 연결된 두 개의 노드가 경계 확률과 내용 신뢰도 점수를 예측하는데 사용됩니다. 이 두 가지 점수가 결합되어 최종적으로 고품질의 제안이 생성됩니다. 실험은 ActivityNet-1.3 및 THUMOS14라는 두 주요 데이터셋에서 수행되었습니다. 복잡한 부가 기술 없이, BC-GNN은 시점 행동 제안 및 시점 행동 검출 작업에서 이전 최신 방법들을 능가했습니다.