16일 전

자연어 추론에서 간접적 감독을 활용한 초미세 엔티티 타이핑

Bangzheng Li, Wenpeng Yin, Muhao Chen
자연어 추론에서 간접적 감독을 활용한 초미세 엔티티 타이핑
초록

초미세 엔티티 타이핑(UFET)의 과제는 문장 내 언급된 엔티티의 적절한 타입을 설명하는 다양한 자유형식의 단어나 구를 예측하는 데 있다. 이 과제의 핵심 과제는 타입의 수가 매우 많고, 각 타입에 대한 레이블링된 데이터가 극도로 부족하다는 점에 있다. 기존의 시스템들은 이 과제를 다중 분류 문제로 설정하고, 직접 또는 원격 지도 방식으로 분류기를 학습한다. 그러나 이러한 접근은 두 가지 문제를 야기한다. (i) 타입이 종종 인덱스로 변환되면서 타입의 의미 정보를 분류기가 제대로 포착하지 못한다는 점이고, (ii) 이러한 방식으로 개발된 시스템은 미리 정의된 타입 집합 내에서만 예측이 가능하며, 학습 데이터에서 드물게 또는 전혀 등장하지 않은 타입에 대해 일반화가 어려운 점이다. 본 연구는 엔티티 타이핑을 자연어 추론(NLI) 문제로 재정의하는 새로운 접근법인 LITE를 제안한다. 이 방법은 (i) NLI로부터 간접적인 지도 정보를 활용하여 텍스트 형태의 가설(hypothesis)로 의미적으로 잘 표현된 타입 정보를 추론함으로써 데이터 부족 문제를 완화하고, (ii) 타입 집합을 미리 정의하지 않고 학습-랭킹(learning-to-rank) 목적함수를 사용함으로써 타입 집합의 제약을 제거한다. 실험 결과, 제한된 학습 데이터 조건에서도 LITE는 UFET 과제에서 최고의 성능을 달성하였다. 더불어, LITE는 초미세 엔티티 타이핑의 다른 벤치마크에서도 최고의 결과를 내는 등 뛰어난 일반화 능력을 입증하였으며, 특히 학습 과정에서 등장하지 않은 새로운 타입을 포함한 신규 데이터에 대해서도 사전 학습된 LITE 시스템이 우수한 성능을 발휘함을 보였다.

자연어 추론에서 간접적 감독을 활용한 초미세 엔티티 타이핑 | 최신 연구 논문 | HyperAI초신경