2달 전

신경망 메트릭 학습을 이용한 빠른 엔드투엔드 관계 추출

Tung Tran; Ramakanth Kavuluru
신경망 메트릭 학습을 이용한 빠른 엔드투엔드 관계 추출
초록

관계 추출(RE)은 여러 학문 분야에서 필수적인 정보 추출 작업입니다. RE 모델들은 일반적으로 이전 단계에서 다른 독립적인 모델에 의해 명명된 개체 인식(NER)이 이미 수행되었다는 가정을 합니다. 최근의 몇몇 연구에서는 엔드투엔드(end-to-end) RE라는 주제 하에 NER와 RE 작업을 동시에 모델링하여 작업 간 상관 관계를 활용하려고 시도하고 있습니다. 이 분야의 초기 연구에서는 보통 빔 검색(beam search)을 포함하는 추가적인 비용이 많이 드는 디코딩 단계를 적용하여 전역적으로 일관된 셀 라벨을 얻기 위해 표 채우기(table-filling) 문제로 작업을 축소하였습니다. 표 채우기를 사용하지 않는 노력들에서도 Viterbi 디코딩을 사용한 CRFs 형태의 전역 최적화가 경쟁력 있는 성능을 위해서 여전히 필요합니다.우리는 로컬 종속성과 메트릭 기반 특성을 풀링(pooling)하기 위해 2D 컨볼루션을 반복적으로 적용하는 표 구조를 활용하는 새로운 신경망 아키텍처를 소개합니다. 이 방법은 전역 최적화 없이 기존 최신 기술(state-of-the-art)보다 개선되었습니다. 우리는 ADE와 CoNLL04 데이터셋에서 엔드투엔드 RE를 위한 모델을 검증하였으며, 이전 최고 결과보다 약 1%의 F-점수(F-score) 향상을 보였습니다. 또한, 학습 및 테스트 시간이 7~10배 더 빠르다는 것을 입증하였는데, 이는 시간 감응형(time-sensitive) 최종 사용자 응용 프로그램에 매우 유리합니다.