4달 전

의미적 다양성 인식 프로토타입 기반 학습을 이용한 편향되지 않은 장면 그래프 생성

Jaehyeong Jeon; Kibum Kim; Kanghoon Yoon; Chanyoung Park
의미적 다양성 인식 프로토타입 기반 학습을 이용한 편향되지 않은 장면 그래프 생성
초록

장면 그래프 생성(SGG) 작업은 이미지 내의 객체를 감지하고 객체 간의 관계를 나타내는 술어(예측자)를 예측하는 것을 포함합니다. 그러나 SGG 벤치마크 데이터셋에서는 각 주제-객체 쌍이 단일 술어로 주석이 달려 있으며, 이는 하나의 술어가 다양한 의미(즉, 의미 다양성)을 가질 수 있음에도 불구하고 기존 SGG 모델들은 각 쌍에 대해 유일한 술어만 예측하도록 훈련됩니다. 이로 인해 SGG 모델들은 술어에 존재할 수 있는 의미 다양성을 간과하게 되어 편향된 예측을 초래합니다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 모델 독립적인 의미 다양성 인식 프로토타입 기반 학습(DPL) 프레임워크를 제안합니다. DPL은 각 술어가 커버하는 의미 공간의 영역을 학습하여 하나의 술어가 나타낼 수 있는 다양한 의미를 구분할 수 있습니다. 광범위한 실험 결과, 제안된 모델 독립적인 DPL 프레임워크가 기존 SGG 모델들의 성능을 크게 향상시키며, 동시에 술어의 의미 다양성을 효과적으로 이해함을 입증하였습니다.

의미적 다양성 인식 프로토타입 기반 학습을 이용한 편향되지 않은 장면 그래프 생성 | 연구 논문 | HyperAI초신경