Panoptic Scene Graph Generation with Semantics-Prototype Learning 번역: 의미 프로토타입 학습을 이용한 파노프틱 장면 그래프 생성

Panoptic Scene Graph Generation (PSG)는 객체를 분석하고 이들의 관계(예언어)를 예측하여 인간 언어와 시각적 장면을 연결합니다. 그러나 주석자들의 다른 언어 선호도와 예언어 간의 의미적 중복으로 인해 데이터셋에서 편향된 예언어 주석이 발생하며, 즉 동일한 객체 쌍에 대해 서로 다른 예언어가 사용됩니다. 이러한 편향된 예언어 주석은 PSG 모델이 예언어들 사이에서 명확한 결정 평면을 구축하는 데 어려움을 초래하여 PSG 모델의 실제 적용을 크게 방해합니다. 이러한 내재적인 편향성을 해결하기 위해, 우리는 ADTrans라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 적응적으로 편향된 예언어 주석을 정보화되고 통합된 주석으로 전환하는 것을 목표로 합니다. 전환 과정에서 일관성과 정확성을 보장하기 위해, 각 예언어 클래스의 표현 불변성을 측정하고, 강도가 다른 무편향 예언어 프로토타입을 학습하는 방법을 제안합니다. 동시에, 각 표현과 그 프로토타입 간의 분포 변화를 지속적으로 측정하고 잠재적으로 편향된 데이터를 계속해서 선별합니다. 마지막으로, 무편향 예언어-프로토타입 표현 임베딩 공간을 통해 편향된 주석들을 쉽게 식별할 수 있습니다. 실험 결과, ADTrans는 기준 모델들의 성능을 크게 개선하여 새로운 최고 수준의 성능을 달성하였으며, 여러 데이터셋에서 뛰어난 일반화 능력과 효과성을 보여주었습니다.