Exa, 새로운 웹 검색 엔진 출시: 정확성 높인 데이터베이스형 검색

안녕하세요 HN 커뮤니티 여러분! 저희는 Exa(https://exa.ai)의 Will과 Jeff입니다. 최근에 출시한 Exa Websets는 사용자가 원하는 정보를 정확히 제공하기 위해 임베딩 기술을 활용한 검색 엔진입니다. 예를 들어 "SF에 소재하고 2021년부터 2025년 사이에 설립된 오픈 소스 개발 도구 스타트업"과 같은 복잡한 쿼리에 대해도 정확한 결과를 얻을 수 있습니다. 데모 영상은 여기서 확인하실 수 있습니다 - https://youtu.be/Unt8hJmCxd4. Exa를 시작하게 된 이유는 LLM(대형 언어 모델) 기술이 계속 발전하는 반면, 구글은 시간이 지남에 따라 점점 더 나쁜 경험을 제공하고 있어 답답함을 느꼈기 때문입니다. 인터넷은 과거에는 마법적인 정보 포털처럼 느껴졌지만, 지금은 SEO 최적화된 클릭 베이트로 계속 유도되면서 그 매력을 잃어버렸습니다. Websets는 이 문제를 해결하기 위한 한 걸음입니다. 각 검색에 대해 Exa의 웹 벡터 데이터베이스에서 수십 번의 임베딩 검색을 수행하여 좋은 후보를 찾고, 각 결과에 대해 에이전트 워크플로우를 실행하여 사용자가 요청한 내용과 정확히 일치하는지 확인합니다. Websets의 결과가 우수한 이유는 두 가지입니다. 첫째, 주요 검색 알고리즘에 사용되는 맞춤형 임베딩 모델을 훈련시키기 때문입니다. 일반적인 키워드 매칭 검색 알고리즘 대신, 우리의 임베딩 모델은 사용자가 요청한 exactly same type의 엔티티를 반환하도록 특별히 훈련되었습니다. 실제로 "나노기술 분야에서 활동 중인 스타트업"을 검색하면, 키워드 기반 검색 엔진은 나노기술 스타트업 리스트를 반환하지만, 우리의 임베딩 모델은 실제 스타트업 홈페이지를 반환합니다. 둘째, LLMs가 마지막 단계의 지능을 제공하여 모든 결과를 검증하기 때문입니다. 각 결과와 데이터는 사용자가 검색한 조건과 일치함을 확인하기 위해 참고한 자료들을 통해 뒷받침됩니다. 이 때문에 Websets는 몇 분에서 몇 시간까지 걸릴 수 있지만, 가치 있는 검색 쿼리를 위해서는 이 시간이 충분히 가치 있다고 생각합니다. 또한, Websets는 목록이 아니라 표 형태입니다. 각 결과에 대해 "직원 수"나 "저자가 블로그를 운영하는지 여부"와 같은 "부가 정보" 열을 추가할 수 있으며, 각 셀은 비동기적으로 로드됩니다. 이 표 형식은 웹을 데이터베이스처럼 느끼게 해주는 장점이 있습니다. 다음은 Websets에서 잘 작동하는 몇 가지 검색 예시입니다: - "미국 외에서 교사들이 만든 수학 블로그": https://websets.exa.ai/cma1oz9xf007sis0ipzxgbamn - "트랜스포머의 O(n^2) 어텐션 문제를 피하는 방법에 대한 연구 논문, 첫 저자의 이름이 'A', 'B', 'S', 'T'로 시작하며 2018년부터 2022년 사이에 작성됨": https://websets.exa.ai/cm7dpml8c001ylnymum4sp11h - "100명 이상의 직원을 보유하고 기술 창업자를 founder로 둔 미국 기반 의료 회사": https://websets.exa.ai/cm6lc0dlk004ilecmzej76qx2 - "스타트업 경험을 가지고 Rust를 알고 기술 콘텐츠를 출판한 바 있는 샌프란시스코 베이 지역의 모든 소프트웨어 엔지니어": https://youtu.be/knjrlm1aibQ 웹사이트에서 직접 시도해보실 수 있습니다 - https://websets.exa.ai/ 그리고 API 문서는 https://docs.exa.ai/websets에서 확인 가능합니다. 여러분의 피드백을 기다리고 있습니다! Exa Websets는 현재의 검색 엔진 문제를 해결하기 위해 고안된 혁신적인 접근 방식으로, 웹을 더 구조화되고 효율적인 정보 저장소로 만들기 위한 노력의 일환이다. 업계 전문가들은 이 기술이 SEO 최적화에 의존하는 현대의 검색 엔진에서 벗어나, 사용자에게 실제로 필요한 정보를 제공하는 데 큰 역할을 할 것으로 평가하고 있다. Exa는 2021년 Y Combinator의 S21 배치에 참여하여, 이를 실현하는 데 필요한 기술을 개발하고 있다.