Open WebUI를 사용하여 한 번의 클릭으로 Mistral Large 2407 123B를 배포하세요

튜토리얼 및 모델 소개

이 튜토리얼에서는 OpenWebUI를 사용하여 한 번의 클릭으로 Mistral-Large-Instruct-2407-AWQ를 배포합니다. 관련 환경과 구성이 설정되었습니다. 추론을 경험하려면 컨테이너를 복제하고 시작하기만 하면 됩니다.

Mistral-Large-Instruct-2407-AWQ는 프랑스 인공지능 기업 Mistral AI가 출시한 차세대 플래그십 AI 모델인 Mistral Large 2입니다. 이 모델은 123B개의 매개변수와 128K의 컨텍스트 윈도우를 갖추고 있으며, 중국어를 포함한 수십 개의 언어와 Python, Java, C, C++, JavaScript, Bash 등 80개 이상의 프로그래밍 언어를 지원합니다. Mistral Large 2는 다국어 기능, 수학, 추론, 코드 작성 등에서 상당한 개선이 있었으며 MMLU에서 84.0%의 정확도를 기록했습니다.

이 모델은 모델의 환각 문제를 줄이는 데 특별한 주의를 기울입니다. 즉, 합리적으로 보이지만 실제로는 부정확하거나 관련성이 없는 정보가 생성되는 것을 피하는 것입니다. 모델은 해결책을 찾을 수 없거나 자신 있게 대답할 만큼 충분한 정보가 없을 때, 정보를 조작하는 대신 모른다는 사실을 인정하도록 훈련받습니다. 또한 Mistral Large 2는 고급 함수 호출 및 검색을 지원하고, 외부 시스템, API 및 도구와의 원활한 상호 작용을 가능하게 하며, 추론 및 수학 분야에서 고급 기능을 갖추고 있습니다.

실행 단계

1. 튜토리얼 인터페이스 오른쪽 상단의 컨테이너를 복제하고 시작한 후 API 주소를 복사하여 새 페이지를 엽니다.

2. API를 열면 다음과 같은 인터페이스를 볼 수 있습니다. 대화 상자에 텍스트를 입력하기만 하면 큰 모델과 소통할 수 있습니다.