좌표 정보만을 이용한 LLM 기반 다중 객체 추적을 위한 데이터 할당 학습

다중 객체 추적을 위한 데이터 연관 문제를 해결하기 위해, 기존 사전 학습된 탐지기로부터 얻은 검출 결과를 기반으로, 경계 상자(bounding box)의 좌표 정보만을 사용하여 두 개의 서로 다른 시각 창에서 추출한 트랙 쌍 간의 유사도 점수를 추정하는 새로운 Transformer 기반 모듈을 제안한다. 이 모듈은 TWiX라고 명명되며, 동일한 객체에서 유래한 트랙 쌍과 그렇지 않은 쌍을 구분하는 것을 목표로, 트랙 세트에 대해 학습된다. 제안하는 모듈은 교차 과잉률(Intersection over Union, IoU) 측정을 사용하지 않으며, 운동 사전 정보(motion priors)나 카메라 운동 보정 기술도 필요하지 않다. 온라인 캐스케이드 매칭 파이프라인 내부에 TWiX를 통합함으로써, 본 연구의 추적기 C-TWiX는 DanceTrack 및 KITTIMOT 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, MOT17 데이터셋에서도 경쟁 가능한 결과를 보였다. 코드는 논문 게재 후 공개될 예정이다.