llama.cpp+Open-Webui 배포 gpt-oss-120b

1. 튜토리얼 소개

gpt-oss-120b는 OpenAI가 2025년 8월에 출시한 오픈소스 추론 모델입니다. 강력한 추론, 에이전트 기반 작업, 그리고 다양한 개발 시나리오를 목표로 합니다. MoE 아키텍처를 기반으로 하는 이 모델은 128k의 컨텍스트 길이를 지원하며, 폐쇄형 소스인 o4-mini 및 o3-mini와 유사한 성능을 제공합니다. 도구 호출, 퓨샷 함수 호출, 연쇄 추론, 그리고 상태 질의응답에 탁월합니다.

이 튜토리얼에서는 듀얼 카드 RTX A6000 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.

"모델"이 표시되지 않으면 모델이 초기화 중임을 의미합니다. 모델이 용량이 크므로 2~3분 정도 기다린 후 페이지를 새로고침해 주세요.

사용 방법

알아채다: 이 튜토리얼에서는 프롬프트 단어 앞에 "추론: 낮음/중간/높음"을 추가하여 모델의 추론 수준을 수정할 수 있습니다.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓