Osaurus, Mac서 로컬 및 클라우드 AI 모델 동시 지원

오프라인 AI 모델과 클라우드 모델을 모두 지원하며 사용자의 하드웨어에 파일과 도구를 보관하게 해주는 'Osaurus'라는 새로운 오픈소스 소프트웨어가 주목받고 있습니다. 애플 맥 전용으로 개발된 이 LLM 서버는 사용자가 지역 모델을 자유롭게 전환하거나 클라우드 서비스를 연결할 수 있게 하여, AI 모델의 선택권은 남기면서도 데이터 프라이버시를 유지할 수 있도록 설계되었습니다. Osaurus 는 공동 설립자 테렌스 페가 기존에 구상했던 데스크톱 AI 비서 'Dinoki'의 아이디어에서 발전했습니다. Dinoki 사용자들은 여전히 토큰 비용을 지불해야 한다는 점에 의문을 품었으며, 이를 계기로 페가는 AI 를 로컬에서 직접 실행하는 방안을 모색하게 되었습니다. 테슬라와 넷플릭스에서 소프트웨어 엔지니어로 근무한 경험을 바탕으로 그는 맥에서 파일 탐색, 브라우저 접근, 시스템 설정 등을 로컬로 처리할 수 있음을 확인하고 이를 개인용 AI 로 포지셔닝하기로 결정했습니다. 페가는 2024 년 초 오픈소스 프로젝트로 개발을 공개 시작했으며, 현재는 11 만 2 천 회 이상의 다운로드 기록을 남겼습니다. Osaurus 는 미니맥스, gemsa, 루마, 딥시크 등 다양한 로컬 AI 모델을 비롯해 오픈아이, 안스로픽, 제미니 등 주요 클라우드 제공업체와도 유연하게 연결됩니다. 이는 사용자가 작업 필요성에 따라 가장 적합한 AI 모델을 선택할 수 있게 하는 '하네스'의 역할을 수행합니다. 개발자용 도구와 달리 Osaurus 는 일반 소비자도 쉽게 사용할 수 있는 직관적인 인터페이스를 제공하며, 보안을 위해 하드웨어가 격리된 가상 샌드박스를 활용해 AI 의 접근 범위를 제한합니다. 이를 통해 사용자의 컴퓨터와 데이터가 보호됩니다. 로컬 AI 실행은 아직 초기 단계로, 최소 64 GB 의 RAM 을 권장하며 대용량 모델 실행 시에는 128 GB 를 추천합니다. 하지만 페가는 전력당 지능 효율이 급격히 개선되고 있어 미래에는 하드웨어 요구 사항이 낮아질 것으로 전망했습니다. Osaurus 는 현재 20 개 이상의 네이티브 플러그인을 지원하며, 메일, 캘린더, 파일 시스템, 브라우저, Git 등 다양한 기능을 통합하고 최근에는 음성 처리 기능도 추가되었습니다. 현재 Osaurus 팀은 뉴욕의 스타트업 가속기인 어소시에이션에 참여 중이며, 향후 법률 및 의료 등 데이터 프라이버시 요구가 높은 기업용 서비스 확대를 검토하고 있습니다. 팀은 로컬 AI 의 발전이 클라우드 데이터센터 의존도를 낮추고 전력 소모를 줄이는 데 기여할 수 있다고 믿습니다. 맥 스튜디오 같은 기기를 온프레미스에 배치함으로써 클라우드 수준의 능력을 누리면서도 데이터센터 인프라에 대한 의존 없이 효율적인 AI 환경을 구축할 수 있음을 강조합니다.