K-Adapter: 사전 훈련된 모델에 어댑터를 활용한 지식 통합

우리는 BERT 및 RoBERTa와 같은 대규모 사전 학습 모델에 지식을 주입하는 문제를 연구한다. 기존의 방법들은 지식 주입 시 사전 학습 모델의 원본 파라미터를 업데이트하는 방식을 사용한다. 그러나 여러 종류의 지식을 주입할 경우, 이전에 주입된 지식이 상실되는 문제가 발생한다. 이를 해결하기 위해 우리는 사전 학습 모델의 원본 파라미터를 고정한 채로 다양한 지식을 통합할 수 있도록 지원하는 K-Adapter라는 프레임워크를 제안한다. RoBERTa를 백본 모델로 삼아, 각각의 지식 유형에 대해 신경망 어댑터(Adaptor)를 하나씩 배치하며, 마치 RoBERTa에 플러그인처럼 연결된 형태로 구성한다. 서로 다른 어댑터 간에는 정보 흐름이 없기 때문에, 여러 어댑터를 분산 방식으로 효율적으로 학습할 수 있다. 사례 연구로 이 작업에서는 두 가지 종류의 지식을 주입하였으며, (1) 위키백과(Wikipedia)와 위키데이터(Wikidata)에서 자동으로 정렬된 텍스트-삼중항(text-triplets)을 통해 얻은 사실 지식과 (2) 의존성 구문 분석(dependency parsing)을 통해 얻은 언어학적 지식이다. 관계 분류, 엔티티 타이핑, 질문 응답 등 세 가지 지식 기반 작업에서의 실험 결과는 각 어댑터가 성능을 향상시킴을 보이며, 두 어댑터를 결합할 경우 더 큰 성능 향상이 이루어짐을 입증한다. 추가 분석을 통해 K-Adapter가 RoBERTa보다 더 다양한 지식을 효과적으로 포착함을 확인할 수 있다.