다중 모드 추적을 위한 생성기 기반 융합 메커니즘

생성 모델(GMs)은 포괄적인 이해를 달성하는 데 있어 뛰어난 능력으로 인해 점차 연구 관심을 받고 있습니다. 그러나 이러한 모델의 다중 모드 추적 분야에서의 잠재적 응용은 상대적으로 덜 탐구되어 왔습니다. 이와 관련하여 우리는 생성 기술을 활용하여 다중 모드 추적에서 중요한 과제인 정보 융합 문제를 해결하기 위한 잠재력을 밝히는 것을 목표로 합니다. 본 논문에서는 두 가지 주요한 생성 모델 기법, 즉 조건부 생성 적대 네트워크(CGANs)와 확산 모델(DMs)에 대해 심도 있게 연구합니다. 일반적인 융합 과정과 달리 각 모드에서 추출된 특성이 직접 융합 블록에 입력되는 것이 아니라, 생성 모델 프레임워크에서 무작위 노이즈와 함께 조건부로 처리됩니다. 이를 통해 원래 훈련 샘플이 더 어려운 사례로 변환되며, 이 설계는 특성에서 차별화된 단서를 추출하는 데 우수하며 궁극적으로 추적 성능을 향상시킵니다. 우리의 접근 방식의 효과성을 정량적으로 평가하기 위해, 두 가지 다중 모드 추적 작업, 세 가지 베이스라인 방법, 그리고 세 가지 도전적인 벤치마크에 걸쳐 광범위한 실험을 수행했습니다. 실험 결과는 제안된 생성기반 융합 메커니즘이 최신 수준의 성능을 달성하며, LasHeR와 RGBD1K에서 새로운 기록을 세웠음을 보여줍니다.