Command Palette
Search for a command to run...
임베딩 모델(Embedding Vector)은 단어나 문장, 문서, 이미지, 오디오, 코드 등 이산적이거나 고차원적인 정보를 연속 벡터로 매핑하는 모델로, 특정 작업에서 의미적 또는 특징적 유사성을 벡터 간 거리로 근사하여 표현할 수 있게 합니다. 이는 순수 기호 표현이 유사 관계를 직접적으로 표현하기 어려운 문제를 완화합니다. 원-핫 인코딩에서는 서로 다른 범주 벡터 간 거리가 동일하여, 모델은 이러한 인코딩만으로 ‘고양이’와 ‘개’가 ‘고양이’와 ‘자동차’보다 일반적으로 더 가깝다는 관계를 표현할 수 없습니다.
이 기술 경로는 통계 기반 방법에서 딥러닝으로 진화했습니다. 초기에는 TF-IDF와 같은 어휘 빈도 통계와 단어-문서 공현 행렬을 기반으로 차원을 축소하는 잠재 의미 분석(LSA)에 의존했습니다. 2013년, Mikolov 등은 논문 《Efficient Estimation of Word Representations in Vector Space》 (arXiv:1301.3781)에서 연속 어휘 주머니(CBOW)와 스킵그램(Skip-gram)이라는 두 가지 얕은 신경망을 사용하여 16억 단어 규모 말뭉치에서 하루 미만으로 단어 벡터를 학습하고, 벡터 공간 내 의미 관계(예: 유추 연산)를 보여주며 임베딩 방법이 자연어 처리의 표준 도구가 되도록 촉진했습니다.
트랜스포머와 대규모 사전 학습의 등장으로 임베딩은 단어에서 문장, 문서, 이미지 및 멀티모달 데이터로 확장되었습니다. 인코더는 전체 텍스트를 하나의 벡터로 압축하며, 대조 학습은 유사한 샘플을 서로 가깝게, 비유사한 샘플을 서로 멀어지도록 합니다. 벡터 차원은 일반적으로 수백에서 수천 차원까지 사용되며, 차원이 높아지면 표현 용량이 증가할 수 있지만 하위 작업 성능 개선이 보장되지는 않고, 일반적으로 저장 및 검색 비용이 증가합니다. 평가에는 여러 작업을 포괄하는 MTEB와 같은 벤치마크가 자주 사용됩니다. 오늘날 임베딩 모델은 시맨틱 검색, 추천, 군집화 및 중복 제거, 크로스모달 검색, 검색 증강 생성(RAG)을 지원하며, 대규모 언어 모델 애플리케이션에 필수적인 기본 구성 요소입니다.