브라우저에서 로컬 AI 모델 직접 구동

브라우저 환경에서 구동되는 로컬 AI 의사결정 모델 프로젝트 OpenJev가 공식적으로 공개되었습니다. 본 프로젝트는 클라우드 서버나 백엔드 의존 없이 웹 브라우저와 로컬 GPU만을 활용해 AI 모델을 직접 실행할 수 있는 온디바이스 환경을 제공합니다. 모델 가중치는 Hugging Face에서 가져와 브라우저 캐시에 저장되며, 모든 입력 데이터는 로컬에서 처리되어 외부로 절대 유출되지 않아 높은 개인정보 보호 수준을 보장합니다. OpenJev의 핵심 기술적 특징은 동일한 로컬 모델 기반에서 두 가지 추론 방식을 실시간으로 비교 분석하는 데 있습니다. 첫 번째 방식은 사용자가 지정한 옵션에 대한 모델의 로그리트를 직접 읽어 정규화하는 읽기 전용 접근법이며, 두 번째 방식은 모델이 해당 확률 분포를 JSON 텍스트 형식으로 생성해 출력하는 생성형 접근법입니다. 두 방식은 동일한 GPU 리소스를 공유하지 않도록 순차적으로 실행되어 시스템 안정성을 유지합니다. 사용자 기기에 맞춰 Qwen3 0.6B, 기본적으로 선택되는 MiniCPM5 2B, 그리고 고품질 실험을 위한 Qwen3.5 4B 등 세 가지 모델 크기를 지원합니다. 벤치마크 결과에 따르면, Qwen3.5 4B 버전은 형식 안전성 기준 84.5%의 정확도를 기록하며 호스팅된 기존 Jev 모델의 88.3% 수준에 근접하는 성능을 입증했습니다. 저사양 모바일 기기에서도 Qwen3 0.6B로 전환해 원활하게 구동할 수 있도록 최적화되어 있습니다. 별도의 대기 등록 없이 즉시 브라우저에서 실험이 가능하며, 웹 기술 기반의 로컬 AI 추론 효율성과 검증 가능한 의사결정 프로세스의 실용성을 보여주는 사례로 주목받고 있습니다. 초기 로딩은 모델 크기와 네트워크, GPU 성능에 따라 수분이 소요될 수 있으나, 이후 모든 처리 과정은 온디바이스에서 완료됩니다.