2달 전

약한 감독 임베딩 모델을 이용한 개방형 질문 응답

Antoine Bordes; Jason Weston; Nicolas Usunier
약한 감독 임베딩 모델을 이용한 개방형 질문 응답
초록

임의의 주제에 대한 질문에 답할 수 있는 컴퓨터를 구축하는 것은 인공지능의 오랜 목표입니다. 최근에는 질문을 논리적 형태나 데이터베이스 쿼리로 매핑하는 방법을 통해 유망한 진전이 이루어졌습니다. 이러한 접근 방식은 효과적이지만, 많은 양의 인간이 라벨링한 데이터 또는 실무자가 맞춤 설계한 사전과 문법을 필요로 하는 비용이 따릅니다. 본 논문에서는 대신 질문을 벡터형 특징 표현으로 매핑하는 극단적인 접근 방식을 취합니다. 답변도 동일한 공간으로 매핑하면 스키마와 무관하게 어떤 지식 기반도 질의할 수 있으며, 문법이나 사전이 필요하지 않습니다. 우리의 방법은 새로운 최적화 절차를 통해 훈련되며, 이는 확률적 경사 하강법(stochastic gradient descent) 후 자동적으로 그리고 협업적으로 생성된 리소스를 혼합하여 제공되는 약간의 감독(weak supervision)을 사용하여 미세 조정(fine-tuning step) 단계를 거칩니다. 우리는 경험적으로 모델이 노이즈가 있는 감독에서 의미 있는 신호를 포착할 수 있음을 입증하였으며, 이는 유사한 약간 라벨링된 데이터로 훈련될 수 있는 유일한 기존 방법인 파라렉스(paralex)보다 크게 개선됨을 보여주었습니다.

약한 감독 임베딩 모델을 이용한 개방형 질문 응답 | 최신 연구 논문 | HyperAI초신경