2달 전

문자 단위 표현은 BERT 시대에도 DRS 기반 의미 해석을 개선시킵니다.

Rik van Noord; Antonio Toral; Johan Bos
문자 단위 표현은 BERT 시대에도 DRS 기반 의미 해석을 개선시킵니다.
초록

우리는 문자 수준과 문맥 언어 모델 표현을 결합하여 디스크OURSE 표현 구조(Discourse Representation Structure) 파싱의 성능을 향상시키기 위해 노력하고 있습니다. 문자 표현은 시퀀스-투-시퀀스(sequence-to-sequence) 모델에서 단일 인코더 또는 완전히 별도의 인코더로 쉽게 추가될 수 있으며, 다양한 언어 모델, 언어 및 데이터 세트에 대해 견고한 개선 효과를 보입니다. 영어의 경우, 이러한 개선 효과는 개별적인 언어 정보 출처나 비문맥적 임베딩(non-contextual embeddings)을 추가하는 것보다 더 큽니다. 의미 태그(semantic tags)를 기반으로 하는 새로운 분석 방법은 문자 수준 표현이 선택된 의미 현상의 하위 집합에 걸쳐 성능을 향상시키는 것을 입증합니다.

문자 단위 표현은 BERT 시대에도 DRS 기반 의미 해석을 개선시킵니다. | 최신 연구 논문 | HyperAI초신경