오픈 도메인 질문 응답은 추론 시 문서를 실시간으로 처리할 필요 없이 표현(phrase) 검색 문제로 재정의할 수 있다 (Seo 등, 2019). 그러나 현재의 표현 검색 모델은 여전히 희소 표현(sparse representations)에 크게 의존하고 있으며, 리트리버-리더( retriever-reader) 접근법에 비해 성능이 낮은 편이다. 본 연구에서는 처음으로 표현들에 대한 밀집 표현(dense representations)을 단독으로 학습함으로써 오픈 도메인 QA에서 훨씬 우수한 성능을 달성할 수 있음을 보여준다. 우리는 독해 이해 작업의 supervision을 기반으로 표현 표현을 효과적으로 학습하는 방법을 제안하며, 새로운 음성 샘플링(negative sampling) 기법을 함께 도입한다. 또한, 전이 학습을 지원하고 학습과 추론 간의 불일치를 줄이는 쿼리 측 미세 조정(query-side fine-tuning) 전략을 제안한다. 다섯 개의 대표적인 오픈 도메인 QA 데이터셋에서, 본 모델인 DensePhrases는 기존의 표현 검색 모델보다 절대 정확도에서 15%~25% 향상되었으며, 최신 리트리버-리더 모델의 성능과도 동등하게 달성하였다. 본 모델은 순수한 밀집 표현 구조를 가지므로 병렬 처리가 용이하며, CPU에서 초당 10건 이상의 질문을 처리할 수 있다. 마지막으로, 사전 인덱싱된 밀집 표현을 직접 두 가지 슬롯 채우기(slot filling) 작업에 활용하여, DensePhrases가 후속 작업을 위한 밀집 지식 기반(dense knowledge base)으로 활용될 수 있는 잠재력을 보여주었다.