17일 전

언어에서 구성적 일반화를 위한 계층적 포세트 디코딩

Yinuo Guo, Zeqi Lin, Jian-Guang Lou, Dongmei Zhang
언어에서 구성적 일반화를 위한 계층적 포세트 디코딩
초록

인간의 언어 이해를 부분 순서 집합(Partially Ordered Set, Poset)으로 구성된 출력을 가지는 구조적 예측 문제로 공식화한다. 현재의 인코더-디코더 아키텍처는 의미론적 구조인 포셋 구조를 적절히 고려하지 못하여, 복합적 일반화 능력이 떨어지는 문제가 있다. 본 논문에서는 언어의 복합적 일반화를 위한 새로운 계층적 포셋 디코딩 패러다임을 제안한다. 직관적으로 살펴보면: (1) 제안된 패러다임은 의미론적 부분 순열 불변성(Partial Permutation Invariance)을 강제함으로써, 편향된 순서 정보에 과적합되는 것을 방지한다; (2) 계층적 구조는 포셋의 고수준 구조를 효과적으로 포착할 수 있도록 한다. 제안한 디코더는 복합적 일반화 능력을 측정하기 위해 특별히 설계된 대규모이고 현실적인 자연어 질의응답 데이터셋인 Compositional Freebase Questions(CFQ)에서 평가되었으며, 실험 결과 기존 디코더들보다 우수한 성능을 보였다.

언어에서 구성적 일반화를 위한 계층적 포세트 디코딩 | 최신 연구 논문 | HyperAI초신경