Uni-Encoder: 생성 기반 대화 시스템을 위한 빠르고 정확한 응답 선택 패러다임

샘플링-랭킹은 현대 생성 기반 대화 시스템의 핵심 디코딩 전략입니다. 이 방법은 작은 후보 집합에서 답변을 선택함으로써 다양하고 고품질의 응답을 달성하는 데 도움을 줍니다. 현재 최신의 랭킹 방법들은 주로 크로스 인코더(Cross-Encoder)라는 인코딩 패러다임을 사용하여 각 컨텍스트-후보 쌍을 개별적으로 인코딩하고, 후보들의 적합도 점수에 따라 순위를 매깁니다. 그러나 크로스 인코더는 각 후보에 대해 동일한 긴 컨텍스트를 반복적으로 인코딩하기 때문에 높은 계산 비용이 발생합니다. 폴리 인코더(Poly-Encoder)는 컨텍스트와 후보 간의 상호작용을 줄여 위 문제들을 해결하지만, 성능 저하의代가를 치르게 됩니다.본 연구에서는 크로스 인코더처럼 각 쌍에 대한 전체적인 주의력을 유지하면서도 폴리 인코더처럼 컨텍스트를 한 번만 인코딩하는 새로운 패러다임인 유니 인코더(Uni-Encoder)를 개발하였습니다. 유니 인코더는 모든 후보들을 컨텍스트와 함께 단일 순방향 전달 과정에서 인코딩합니다. 모든 후보들이 동등하게 처리되도록 하기 위해 동일한 위치 임베딩(positional embedding)을 사용하였으며, 혼동을 피하기 위해 새로운 주의 메커니즘(attention mechanism)을 설계하였습니다. 우리의 유니 인코더는 다른 주의 및 응답 연결 방법을 사용하여 다른 랭킹 패러다임들을 시뮬레이트할 수 있습니다.범위 넓은 실험 결과, 제안된 패러다임은 네 가지 벤치마크 데이터셋에서 고속 계산 효율성을 유지하면서 새로운 최고 성능 결과를 달성하였습니다. 예를 들어, 우분투 V2 데이터셋에서 R10@1 지표가 2.9% 향상되었으며, 추론 속도는 약 4배 더 빠르게 개선되었습니다.