1. 튜토리얼 소개

Qwen3-Omni는 알리바바의 Tongyi Qianwen 팀이 2025년 9월에 출시한 업계 최초의 네이티브 엔드투엔드 옴니모달 AI 모델입니다. 텍스트, 이미지, 오디오, 비디오 등 다양한 유형의 입력을 처리할 수 있으며, 텍스트와 자연어 음성을 통해 실시간 스트리밍으로 결과를 출력할 수 있어 다양한 기능 간의 균형을 맞춰야 하는 멀티모달 모델의 오랜 문제를 해결합니다.Qwen3-Omni 기술 보고서".

이 튜토리얼에서는 듀얼 GPU RTX A6000 컴퓨팅 리소스를 사용하고 테스트를 위해 Qwen3-Omni-30B-A3B-Instruct와 Qwen3-Omni-30B-A3B-Thinking의 두 가지 모델을 제공합니다.

Qwen3-Omni-30B-A3B-Instruct는 Qwen3-Omni-30B-A3B용 명령어 모델입니다. 생각하는 부분과 말하는 부분을 포함하고 있으며, 오디오, 비디오, 텍스트 입력을 지원하고, 오디오와 텍스트를 출력합니다.

Qwen3-Omni-30B-A3B-Thinking은 Qwen3-Omni-30B-A3B의 사고 모델입니다. 사고자(thinker) 요소를 포함하고, 사고 연쇄 추론 기능을 갖추고 있으며, 오디오, 비디오 및 텍스트 입력을 지원하고 텍스트를 출력합니다.

2. 효과 표시

온라인 오디오 대화

온라인 영상 대화

오프라인 오디오 대화

오프라인 영상 채팅

이미지 이해

3. 작업 단계

1. 컨테이너를 시작하세요

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 3~5분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

온라인 오디오 대화

온라인 영상 대화

오프라인 오디오 대화

오프라인 영상 채팅

이미지 이해

매개변수 설명:

• 시스템 프롬프트: 시스템이 모델에 제공하는 초기 프롬프트입니다.
• 온도: 값이 작을수록 자막은 더 "보수적"이고 확실해집니다. 값이 클수록 자막은 더 무작위적이고 참신해집니다.
• Top-p: 확률이 p까지 누적되는 "점수가 높은 단어"만 선택합니다. p가 작을수록 후보가 적고 텍스트가 더 보수적입니다.
• Top-k: 확률이 가장 높은 k개의 단어만 유지합니다. k가 작을수록 후보 단어 수가 적어지고 텍스트가 더 보수적입니다.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓