모든 시나리오에 수천억 개의 매개변수가 필요한 것은 아니지만, 거의 모든 시나리오에는 "추론" 기능을 갖춘 모델이 필요합니다. 더 작고 배포하기 쉬운 모델이 더 강력한 추론 능력, 장기적인 맥락 이해 능력, 그리고 도구 호출 능력을 갖추도록 하는 방법은 오픈 소스 커뮤니티에서 중요한 연구 방향이 되었습니다.

소형 모델에서 복잡한 작업을 처리하는 데 필요한 처리 능력이 부족한 문제를 해결하기 위해,Empero는 Qwythos3.5-9B를 기반으로 구축된 추론 기능이 강화된 언어 모델인 Qwythos-9B-Claude-Mythos-5-1M을 오픈 소스로 공개했습니다.해당 모델은 5억 개 이상의 토큰을 포함하는 고품질 Claude Mythos 및 Claude Fable 추론 궤적 데이터를 사용하여 사후 학습되었습니다.90억 개의 매개변수 규모를 유지하면서 복잡한 추론 작업에서 모델의 성능을 향상시킵니다.

기본 모델인 Qwen3.5-9B와 비교했을 때,Qwythos는 MMLU에서 34점, gsm8k-strict 수학적 추론에서 30점 상승하는 등 여러 평가에서 상당한 향상을 보였습니다.이는 매개변수가 적은 모델도 고품질 추론 데이터를 통해 성능이 크게 향상될 수 있음을 보여줍니다.

추론 능력 최적화 외에도Qwythos는 AI 에이전트 시나리오에 맞게 기능이 향상되었습니다.이 모델은 Qwen 3.5 사양을 기반으로 하는 네이티브 도구 호출 기능을 지원하여 외부 도구에 연결하여 복잡한 작업을 실행할 수 있습니다. 동시에 YaRN RoPE 확장 기술을 통해 최대 100만 토큰에 달하는 초장문 컨텍스트를 지원하여 긴 문서나 코드베이스와 같은 복잡한 정보를 처리할 수 있습니다. 또한,Qwythos는 Qwen3.5-9B의 멀티모달 비전 기능을 계승합니다.mmproj 모듈을 통해 이미지 이해를 지원할 수 있으며, 이를 통해 다중 모달 에이전트와 같은 시나리오에서 모델의 적용 범위를 더욱 확장할 수 있습니다.

Qwythos의 출시로 소규모 모델 개발에 새로운 길이 열렸습니다. 고품질 데이터, 추론 학습 및 기능 최적화를 통해 소규모 매개변수 모델도 규모의 한계를 극복할 수 있게 되어 저비용 고효율 AI 애플리케이션을 위한 새로운 가능성을 제공합니다.

HyperAI(hyper.ai)는 개발자들이 Qwythos를 빠르게 경험할 수 있도록 관련 모델 리소스를 모아놓았습니다. 이를 통해 개발자들은 클릭 한 번으로 모델을 배포하고 추론 테스트 및 에이전트 개발을 신속하게 시작할 수 있습니다. ⬇️

온라인으로 실행:https://go.hyper.ai/25R6k

더 많은 온라인 튜토리얼:

https://hyper.ai/notebooks

연구소 웹사이트:https://empero.org/

데모 실행

1. hyper.ai 홈페이지에 접속한 후 "튜토리얼" 페이지를 선택하거나 "더 많은 튜토리얼 보기"를 클릭하고 "Qwythos-9B-Claude-Mythos-5-1M GGUF 추론 배포"를 선택한 다음 "이 튜토리얼 실행"을 클릭합니다.

2. 페이지가 리디렉션된 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX 5090" 및 "PyTorch" 이미지를 선택하고 "작업 실행 계속"을 클릭합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 표시

1. 페이지가 리디렉션된 후 왼쪽에 있는 README 파일을 클릭하고 상단의 실행을 클릭합니다.

2. 프로세스가 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 인터페이스를 엽니다.