Orion Weller Michael Boratko Iftekhar Naim Jinhyuk Lee

초록

지난해들어 벡터 임베딩은 점점 더 다양한 검색 작업에 활용되어 왔으며, 최근에는 추론, 지시사항 수행, 코드 생성 등 새로운 분야로도 확장되고 있다. 이러한 새로운 벤치마크는 임베딩이 어떤 쿼리든, 그리고 다양한 유형의 관련성 기준에도 대응할 수 있도록 요구하고 있다. 기존 연구들은 벡터 임베딩의 이론적 한계를 지적해 왔으나, 일반적으로 이러한 문제는 비현실적인 쿼리 때문이며, 보다 나은 학습 데이터와 더 큰 모델을 통해 이를 극복할 수 있다고 전제해왔다. 본 연구에서는, 매우 단순한 쿼리라도 현실적인 설정에서 이러한 이론적 한계에 직면할 수 있음을 입증한다. 우리는 학습 이론에서 알려진 결과와 연결하여, 특정 쿼리에 대해 반환될 수 있는 문서의 상위 k개 서브셋의 수는 임베딩의 차원에 의해 제한됨을 보인다. 또한, k=2로 제한하더라도 이 현상이 실제로 발생함을 실험적으로 확인하였으며, 테스트 세트에서 자유 매개변수를 가진 임베딩을 직접 최적화함으로써 이를 검증하였다. 이후 이러한 이론적 결과를 기반으로 현실적인 데이터셋 LIMIT을 구축하였으며, 이 데이터셋은 단순한 작업임에도 불구하고 최첨단 모델들조차 실패하는 것을 관찰하였다. 본 연구는 기존의 단일 벡터 파라다임 하에서 임베딩 모델의 한계를 보여주며, 이 근본적인 한계를 해결할 수 있는 새로운 방법론 개발을 위한 향후 연구의 필요성을 제기한다.