HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA Nemotron ColEmbed V2 초과 성능으로 다중 모달 검색 기준 세워, ViDoRe V3 벤치마크 1위 기록

NVIDIA는 시각적 문서 검색 분야의 새로운 기준을 제시하는 멀티모달 임베딩 모델 ‘Nemotron ColEmbed V2’를 공개했다. 이 모델은 3B, 4B, 8B 세 가지 규모로 제공되며, 특히 ‘비정형 문서’에서 텍스트, 표, 차트, 그림 등 다양한 형식의 정보를 정확히 추출하는 데 최적화됐다. 기존 단일 벡터 방식과 달리, 쿼리와 문서의 각 토큰 간 세밀한 상호작용을 가능하게 하는 ‘레이트 인터랙션’ 아키텍처를 채택해, ViDoRe V3 벤치마크에서 8B 모델이 1위를 기록하며 최고 성능을 입증했다. 이 모델은 이미지와 텍스트를 동시에 처리하는 기반 모델을 활용해, 복잡한 기업용 문서에서 정보를 정확히 검색할 수 있도록 설계됐으며, RAG 시스템, 멀티미디어 검색 엔진, 대화형 AI 등에 적합하다. 3B 모델은 저장 용량과 처리 속도를 고려한 상용 환경에, 8B 모델은 정확도 중심의 연구용으로 각각 활용 가능하다. NVIDIA는 모델 병합 기술과 다국어 합성 데이터를 활용해 성능 안정성과 다언어 처리 능력을 향상시켰으며, Hugging Face와 NGC를 통해 모델을 무료로 제공한다.

관련 링크