PCPL: 편향되지 않은 장면 그래프 생성을 위한 술어-상관 관계 인식 학습

오늘날, 장면 그래프 생성(SGG) 작업은 주로 피드어노테이션 분포의 극단적으로 긴 꼬리 편향 때문으로 실제 시나리오에서 크게 제한되어 있습니다. 따라서, SGG의 클래스 불균형 문제를 해결하는 것은 중요하면서도 도전적인 과제입니다. 본 논문에서는 피드 라벨들이 서로 강한 상관관계를 가질 때, 일반적으로 사용되는 재균형화 전략(예: 재샘플링 및 재가중)이 꼬리 데이터에 대한 과적합(예: 벤치가 인도 위에 앉아 있는 것보다는 단순히 앉아 있는 것으로)을 초래하거나 여전히 원래의 불균등한 분포로부터 부정적인 영향을 받는다는 것을 처음으로 발견하였습니다(예: 다양한 '주차된', '서 있는', '앉아 있는'을 단순히 '위에'로 집계). 우리는 이러한 현상의 주요 원인이 재균형화 전략이 피드들의 빈도에 민감하지만 그들 간의 관련성에는 무감각하다는 점이며, 이 관련성이 피드 특징 학습을 촉진하는 데 더 중요한 역할을 할 수 있다고 주장합니다. 이를 바탕으로, 우리는 새로운 피드-상관관계 인식 학습(PCPL, Predicate-Correlation Perception Learning의 약자) 방안을 제안하여, 피드 클래스 간의 상관관계를 직접 인식하고 활용하여 적절한 손실 가중치를 자동으로 찾아내도록 설계하였습니다. 또한, 우리의 PCPL 프레임워크는 컨텍스트 특징을 더 잘 추출하기 위한 그래프 인코더 모듈을 포함하고 있습니다. 벤치마크 VG150 데이터셋에서 수행된 광범위한 실험 결과, 제안된 PCPL 방안은 머리 클래스의 성능을 유지하면서 꼬리 클래스에서 눈에 띄게 더 우수한 성능을 보였으며, 이는 기존 최신 방법론들을 크게 능가하는 것으로 나타났습니다.