2달 전

DeepType: 신경망 유형 시스템 진화를 통한 다국어 엔티티 링킹

Jonathan Raiman; Olivier Raiman
DeepType: 신경망 유형 시스템 진화를 통한 다국어 엔티티 링킹
초록

오늘날 세계에 대한 구조화된 데이터(예: 위키데이터)와 비구조화된 데이터의 풍부함은 내일의 인공지능에게 놀라운 기회를 제공하고 있습니다. 그러나 이 두 가지 다른 모달리티를 통합하는 과정은 매우 어려우며, 정보를 가장 효과적으로 표현하기 위한 다양한 결정과 대량의 데이터에 대한 수작업 라벨링을 포함하고 있습니다. DeepType은 타입 시스템을 사용하여 신경망의 추론 과정에 기호 정보를 명시적으로 통합함으로써 이 문제를 해결합니다. 첫째, 우리는 타입 시스템을 구성하고, 둘째, 이를 사용하여 신경망의 출력이 기호 구조를 존중하도록 제약합니다. 우리는 이 설계 문제를 혼합 정수 문제로 재구성하여 타입 시스템을 생성한 후 해당 타입 시스템으로 신경망을 학습시키는 방법을 제안합니다. 재구성된 문제에서 이산 변수는 온톨로지에서 부모-자식 관계 중 어떤 것이 타입 시스템 내의 타입인지 선택하며, 연속 변수는 타입 시스템에 맞춰 분류기를 조절합니다. 원래 문제는 정확하게 해결할 수 없으므로, 우리는 2단계 알고리즘을 제안합니다: 1) 온톨로지에서 정의된 타입 시스템을 고려한 Oracle과 학습 가능성 휴리스틱에 의해 지도받는 이산 변수에 대한 휴리스틱 검색 또는 확률적 최적화, 2) 분류기 매개변수를 조절하기 위한 경사 하강법입니다. 우리는 DeepType을 세 개의 표준 데이터셋(즉, WikiDisamb30, CoNLL (YAGO), TAC KBP 2010)에서 엔티티 링킹 문제에 적용하여 기존 모든 솔루션보다 크게 우월한 성능을 보임을 확인했습니다. 이는 인간이 설계한 타입 시스템이나 최근 딥러닝 기반 엔티티 임베딩 방식 등 다른 접근법들보다도 우수하며, 명시적으로 기호 정보를 사용함으로써 새로운 엔티티를 추가할 때 재학습 없이 통합할 수 있습니다.