4달 전
의미적 다양성 인식 프로토타입 기반 학습을 이용한 편향되지 않은 장면 그래프 생성
Jaehyeong Jeon; Kibum Kim; Kanghoon Yoon; Chanyoung Park

초록
장면 그래프 생성(SGG) 작업은 이미지 내의 객체를 감지하고 객체 간의 관계를 나타내는 술어(예측자)를 예측하는 것을 포함합니다. 그러나 SGG 벤치마크 데이터셋에서는 각 주제-객체 쌍이 단일 술어로 주석이 달려 있으며, 이는 하나의 술어가 다양한 의미(즉, 의미 다양성)을 가질 수 있음에도 불구하고 기존 SGG 모델들은 각 쌍에 대해 유일한 술어만 예측하도록 훈련됩니다. 이로 인해 SGG 모델들은 술어에 존재할 수 있는 의미 다양성을 간과하게 되어 편향된 예측을 초래합니다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 모델 독립적인 의미 다양성 인식 프로토타입 기반 학습(DPL) 프레임워크를 제안합니다. DPL은 각 술어가 커버하는 의미 공간의 영역을 학습하여 하나의 술어가 나타낼 수 있는 다양한 의미를 구분할 수 있습니다. 광범위한 실험 결과, 제안된 모델 독립적인 DPL 프레임워크가 기존 SGG 모델들의 성능을 크게 향상시키며, 동시에 술어의 의미 다양성을 효과적으로 이해함을 입증하였습니다.