ConveRT: Transformer를 활용한 효율적이고 정확한 대화 표현

BERT와 같은 일반적인 사전 학습 문장 인코더는 실제 대화형 AI 애플리케이션에 이상적이지 않습니다. 이들은 계산적으로 무거우며, 학습 속도가 느리고 비싸기 때문입니다. 본 연구에서는 대화형 작업을 위한 사전 학습 프레임워크인 ConveRT (Transformer에서 유래한 대화 표현)를 제안합니다. 이 프레임워크는 다음과 같은 모든 요구사항을 충족합니다: 효과적, 비용 효율적, 그리고 빠른 학습이 가능합니다. 우리는 검색 기반 응답 선택 작업을 사용하여 사전 학습을 수행하며, 듀얼 인코더에서 양자화와 서브워드 수준의 매개변수화를 효과적으로 활용하여 가벼운 메모리와 에너지 효율적인 모델을 구축하였습니다. ConveRT가 널리 인정받은 응답 선택 작업에서 최고의 성능을 달성함을 보였습니다. 또한 확장된 대화 역사 정보를 맥락으로 사용하면 성능 향상이 더 크게 이루어짐을 입증하였습니다. 마지막으로, 제안된 인코더에서 얻은 사전 학습 표현이 의도 분류 작업으로 전달될 수 있으며, 세 가지 다양한 데이터 세트에서 강력한 결과를 도출함을 보였습니다. ConveRT는 표준 문장 인코더나 이전 최고 성능의 듀얼 인코더보다 현저히 빠르게 학습됩니다. 크기가 작고 성능이 우수하기 때문에, 우리는 이 모델이 대화형 AI 애플리케이션에 있어 더 넓은 이식성과 확장성을 제공할 것이라고 믿습니다.