대화 선택을 위한 효율적인 동적 하드 음성 샘플링

최근 연구들은 선택 작업에서 상당한 성능 향상을 보여주었으며, 이 성과의 상당 부분은 학습 과정에서 정보성 있는 음성 샘플(negative samples)을 통합함으로써 달성되었다. 기존의 하드 음성 샘플(hard negatives) 생성 방법은 의미 있는 지도 신호를 제공하지만, 학습 중에 변화하지 않는 정적 샘플에 의존하기 때문에 최적의 성능을 달성하기 어렵다는 한계가 있다. 동적 하드 음성 샘플링은 학습 중 모델의 상태 변화에 지속적으로 적응함으로써 이러한 한계를 극복한다. 그러나 이 방법은 높은 계산 부담을 수반하여 특정 모델 아키텍처에만 적용 가능한 제약이 있다. 이러한 문제를 해결하기 위해 우리는 효율적인 동적 하드 음성 샘플링(EDHNS, Efficient Dynamic Hard Negative Sampling)을 제안한다. EDHNS는 쉽게 구분 가능한 음성 샘플을 사전 필터링함으로써 모델이 학습 중 계산해야 하는 후보 수를 줄여 효율성을 높인다. 또한, 모델이 이미 높은 신뢰도를 보이는 질문-후보 쌍(question-candidate pairs)은 손실 함수 계산에서 제외함으로써 추가적인 학습 시간 절감을 실현한다. 이러한 접근은 계산량을 최소화하면서도 학습 품질을 유지하며 학습 과정을 더욱 간소화한다. DSTC9, DSTC10, Ubuntu 및 전자상거래 기준 데이터셋에서 실시한 광범위한 실험을 통해 EDHNS가 기준 모델을 크게 능가함을 입증하였으며, 대화 선택 작업에서의 효과성을 입증하였다.