HyperAI

Bereitstellung Von DeepCoder-14B-Preview Mit Einem Klick

GitHub
Sterne
MIT

1. Einführung in das Tutorial

Das DeepCoder-14B-Preview-Projekt ist ein 14B-Kodierungsmodell, das am 8. April 2025 von AGENTICA veröffentlicht wurde. Das Modell wurde für die Code-Reasoning-Analyse mit DeepSeek-R1-Distilled-Qwen-14B LLM optimiert und lässt sich mithilfe von Distributional Reinforcement Learning (RL) auf große Kontextlängen skalieren. Das Modell erreicht eine Pass@1-Genauigkeit von 60,6% auf LiveCodeBench v5 (01.08.24-01.02.25), eine Verbesserung von 8% gegenüber dem Basismodell (53%), und erreicht eine ähnliche Leistung wie OpenAIs o3-mini mit nur 14B Parametern.

Dieses Tutorial verwendet das DeepCoder-14B-Preview-Modell als Demonstrationsfall und übernimmt die von Bitsandbytes bereitgestellte 8-Bit-Quantisierungsmethode, um die Nutzung des Videospeichers zu optimieren. Es ist zu beachten, dass diese Quantisierungsmethode einen gewissen Einfluss auf die Leistung des Modells haben kann. Als Rechenleistung kommt RTX4090 zum Einsatz.

2. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Bitte warten Sie etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Funktionsdemonstration

Wenn „Fehler: HTTPConnectionPool(host="localhost, port=8000): Max. Wiederholungsversuche überschritten mit URL: /v1/completions“ wie unten angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Bitte warten Sie etwa 1–2 Minuten und aktualisieren Sie die Seite.

Zitationsinformationen

Dank an den GitHub-Benutzer SuperYang  Für die Erstellung dieses Tutorials lauten die Projektreferenzinformationen wie folgt:

@misc{deepcoder2025,
  title={DeepCoder: A Fully Open-Source 14B Coder at O3-mini Level},
  author={Michael Luo, Sijun Tan, Roy Huang, Xiaoxiang Shi, Rachel Xin, Colin Cai, Ameen Patel, Alpay Ariyak, Qingyang Wu, Ce Zhang, Li Erran Li, Raluca Ada Popa, Ion Stoica},
  howpublished={\url{https://pretty-radio-b75.notion.site/DeepCoder-A-Fully-Open-Source-14B-Coder-at-O3-mini-Level-1cf81902c14680b3bee5eb349a512a51}},
  note={Notion Blog},
  year={2025}
}

@misc{deepscaler2025,
  title={DeepScaleR: Surpassing O1-Preview with a 1.5B Model by Scaling RL},
  author={Michael Luo and Sijun Tan and Justin Wong and Xiaoxiang Shi and William Y. Tang and Manan Roongta and Colin Cai and Jeffrey Luo and Li Erran Li and Raluca Ada Popa and Ion Stoica},
  year={2025},
  howpublished={\url{https://pretty-radio-b75.notion.site/DeepScaleR-Surpassing-O1-Preview-with-a-1-5B-Model-by-Scaling-RL-19681902c1468005bed8ca303013a4e2}},
  note={Notion Blog}
  year={2025}
}

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓