2달 전
지반된 문장 유도 관계
Hoa Trong Vu; Claudio Greco; Aliia Erofeeva; Somayeh Jafaritazehjan; Guido Linders; Marc Tanti; Alberto Testoni; Raffaella Bernardi; Albert Gatt

초록
문장 간의 의미 관계를 포착하는 것은, 예를 들어 함의 관계와 같이, 계산론적 의미론에서 오랜 시간 동안 해결하기 어려운 문제였습니다. 논리 기반 모델은 함의를 가능한 세계(해석 또는 상황) 측면에서 분석하며, 전제 P가 가설 H를 함의하는 경우는 모든 세계에서 P가 참일 때 H도 반드시 참이어야 합니다. 통계적 모델은 이 관계를 확률적으로 바라보며, 인간이 P로부터 H를 추론할 가능성을 중심으로 다룹니다. 본 논문에서는 이러한 두 가지 시각을 연결하고자 하며, 텍스트 함의 과제에 대한 시각적으로 근거한 버전을 주장합니다. 구체적으로, 전제 P와 가설 H 외에도 관련 "세계" 또는 "상황"에 해당하는 이미지가 제공될 때 모델의 성능이 개선되는지를 살펴봅니다. 우리는 SNLI 데이터셋(Bowman 등, 2015)의 다중모달 버전을 사용하여 "시각적 정보가 없는" 모델과 시각적으로 보강된 텍스트 함의 모델을 비교합니다. 결과적으로 시각 정보가 유익하다는 것을 입증하였지만, 깊이 있는 오류 분석을 통해 현재 다중모달 모델들이 최적의 방식으로 "근거화"를 수행하지 못하고 있다는 점도 밝혔�습니다.