위치 자유형 장면 그래프 생성

시나리오 그래프 생성(SGG)은 장면을 개체들 간의 관계로 구성된 그래프 형태로 설명하는 시각적 이해 과제이다. 기존 연구들은 경계 상자나 세그멘테이션 마스크 형태의 위치 레이블에 의존하여, 어노테이션 비용을 증가시키고 데이터셋 확장에 한계를 초래한다. 많은 응용 분야가 위치 정보를 요구하지 않는다는 점을 인식하여, 우리는 이러한 의존성을 해소하고 위치 정보 없이 시나리오 그래프 생성(LF-SGG)을 제안한다. 이 새로운 과제는 개체의 인스턴스와 그들 간의 관계를 공간적 위치 계산 없이 예측하는 것을 목표로 한다. 이 과제를 객관적으로 평가하기 위해 예측된 시나리오 그래프와 정답 그래프를 비교해야 한다. 우리는 이 NP-완전 문제를 효율적인 분기 알고리즘을 통해 해결한다. 또한, 자동 회귀 시퀀스 모델링을 활용한 최초의 LF-SGG 방법인 Pix2SG를 설계하였다. 우리는 세 가지 시나리오 그래프 생성 데이터셋 및 두 가지 하류 과제인 이미지 검색과 시각적 질의 응답에서 본 방법의 효과성을 입증하였으며, 위치 정보에 의존하지 않음에도 불구하고 기존 방법들과 경쟁 가능한 성능을 보였다.