스트라타, 소비자 PC서 1250억 파라미터 AI 모델 로컬 구동
오픈소스 커뮤니티 개발자 Niko1221이 1,250억 파라미터 규모의 대형 언어 모델인 Qwen3.8-Flash-Next를 일반 소비자용 PC에서 구동할 수 있는 추론 엔진 'Strata'를 공개했다. 이 프로젝트는 고사양 서버가 아닌 일반 게이밍 PC에서도 대규모 AI 모델을 로컬에서 실행할 수 있도록 설계되어, 개인용 컴퓨팅 환경에서의 인공지능 접근성을 획기적으로 높이고 있다. Strata는 NVIDIA GeForce RTX 20~50 시리즈와 AMD Radeon RX 7000~9000 시리즈 등 12GB 이상의 VRAM을 탑재한 그래픽 카드를 지원한다. 운영체제는 Windows 10/11 및 Linux를 아우르며, 최소 32GB RAM과 약 80GB의 SSD 저장 공간이 요구된다. 프로젝트는 시스템의 RAM 용량과 GPU 성능에 따라 Q2, IQ, Coder 등 다양한 양자화 레벨을 자동 추천하며, 32GB 시스템에서는 코드 최적화 버전인 Coder를, 64GB 이상에서는 IQ3_S 등 고정밀 모델을 선택할 수 있다. 벤치마크에 따르면 RTX 5070 기준 초당 53~79 토큰의 생성 속도를 기록하며, RTX 3090 등 더 강력한 카드에서는 100~140 토큰 초당 성능을 기대할 수 있다. Strata의 가장 큰 장점은 설치의 편의성과 기존 생태계 호환성이다. 단일 클릭 설치 프로그램을 통해 그래픽 드라이버부터 모델 다운로드, 엔진 설정까지 자동으로 처리되며, 중단된 다운로드도 재개 기능을 지원한다. 생성된 AI는 로컬 API를 제공하여 OpenAI 및 Anthropic 호환 인터페이스로 동작하므로, 기존 Claude Code, Cursor, GitHub Copilot 등 주요 AI 코딩 어시스턴트 및 작업 흐름에 즉시 통합될 수 있다. 또한 이미지 입력 기능과 MCP 서버 지원을 통해 다중 GPU 연동 및 고급 자동화 환경 구축도 가능하다. 이 기술은 대규모 AI 모델을 클라우드가 아닌 사용자의 하드웨어에서 직접 처리함으로써 데이터 프라이버시를 완벽하게 보장한다. 모델 압축은 ISTA-DASLab, UkisAI, Unsloth가 담당했으며, Strata 자체는 llama.cpp와 ggml의 오픈소스 기술을 활용하여 MIT 라이선스로 공개되었다. 개발팀은 지속적인 커뮤니티 테스트와 성능 최적화를 통해 다중 GPU 지원 및 다양한 양자화 모델에 대한 문서를 확대해 나갈 계획이다.
