신경-기호 개념 학습자: 자연적 지도를 통한 장면, 단어, 및 문장의 해석

우리는 명시적인 감독 없이 시각적 개념, 단어, 문장의 의미 분석을 학습할 수 있는 신경-기호적 개념 학습자(Neuro-Symbolic Concept Learner, NS-CL) 모델을 제안합니다. 대신, 우리의 모델은 단순히 이미지를 보고 짝을 이룬 질문과 답변을 읽음으로써 학습합니다. 우리의 모델은 객체 기반의 장면 표현을 구축하고 문장을 실행 가능한 기호 프로그램으로 번역합니다. 두 모듈의 학습을 연결하기 위해, 우리는 이러한 프로그램을 잠재적 장면 표현에 적용하는 신경-기호적 추론 모듈을 사용합니다. 인간의 개념 학습과 유사하게, 인식 모듈은 언어로 설명된 객체를 바탕으로 시각적 개념을 학습합니다. 한편, 학습된 시각적 개념은 새로운 단어와 문장의 해석을 촉진합니다. 우리는 커리큘럼 학습(curriculum learning)을 사용하여 이미지와 언어의 큰 조합 공간에서 탐색을 안내합니다. 광범위한 실험들은 우리의 모델이 시각적 개념, 단어 표현, 문장의 의미 분석을 정확하고 효율적으로 학습하는 것을 입증하였습니다. 또한, 우리의 방법은 새로운 객체 속성, 조합, 언어 개념, 장면 및 질문, 심지어 새로운 프로그램 영역까지 쉽게 일반화할 수 있게 합니다. 이는 비주얼 질문 응답 및 양방향 이미지-텍스트 검색 등의 응용 프로그램도 가능하게 합니다.