구조화된 예측을 위한 임베딩의 자동 연결

事전 학습된 문맥화된 임베딩은 구조적 예측 작업을 위한 강력한 단어 표현입니다. 최근 연구에서는 다양한 유형의 임베딩을 결합함으로써 더 나은 단어 표현을 얻을 수 있다는 것을 발견했습니다. 그러나 최상의 결합 표현을 형성하기 위해 선택할 임베딩은 일반적으로 작업과 후보 임베딩 집합에 따라 달라지며, 점점 늘어나는 임베딩 유형의 수는 이 문제를 더욱 어렵게 만듭니다. 본 논문에서는 신경망 아키텍처 탐색 분야에서 최근 이루어진 진전에 영감을 받은 공식화 기반으로, 구조적 예측 작업을 위한 더 나은 임베딩 결합을 자동으로 찾는 '자동화된 임베딩 결합(Automated Concatenation of Embeddings, ACE)' 방법론을 제안합니다. 구체적으로, 컨트롤러는 작업에 고려되는 개별 임베딩 유형의 효과성에 대한 현재 믿음을 바탕으로 임베딩 결합 샘플링 과정과 믿음 업데이트 과정을 번갈아 수행합니다. 이때 보상은 작업 모델의 정확도를 기반으로 계산되며, 샘플링된 결합이 입력으로 제공되어 작업 데이터셋에서 훈련됩니다. 6개의 작업과 21개의 데이터셋에 대한 경험적 결과는 우리의 접근 방식이 강력한 기준모델들을 능가하며, 모든 평가에서 미세 조정(fine-tuned)된 임베딩을 사용하여 최신 수준(state-of-the-art)의 성능을 달성함을 보여줍니다.