Ollama+Open WebUI 部署 Kimi-Dev-72B-GGUF

一、教程简介

Kimi-Dev-72B 是由中国人工智能公司月之暗面团队于 2025 年 6 月 17 日发布的一款专为软件工程任务设计的开源大语言模型。在 SWE-bench Verified 编程基准测试中达到 60.4% 的性能，凭借其仅 72 亿的参数量，一举夺魁，超越了近期发布、参数量高达 671 亿的新版 DeepSeek-R1，成为当前开源模型中的 SOTA 。

主要功能：

• 代码修复（BugFixer）：自动定位代码中的错误生成修复补丁，解决软件开发中的漏洞和缺陷。
• 测试代码生成（TestWriter）：为现有代码编写单元测试，确保代码质量和功能正确性。
• 自动化开发流程：基于强化学习和自我博弈机制，协调修复和测试能力，提升开发效率。
• 与开发工具集成：未来将与 IDE 、版本控制系统和 CI/CD 流水线深度集成，无缝融入开发工作流。

技术原理：

• 角色分工（BugFixer 和 TestWriter）：模型扮演两种角色，分别负责修复代码和编写测试，两者共享文件定位和代码编辑的框架。
• 中期训练（Mid-training）：用约 1,500 亿高质量数据进行训练，增强模型对实际开发任务的理解。
• 强化学习（Reinforcement Learning）：在 Docker 环境中运行代码根据测试结果给予奖励，提升模型的代码编辑能力。
• 测试时自我博弈（Test-time Self-Play）：在测试阶段，模型生成多个补丁和测试候选，基于自我博弈机制协调修复和测试能力，提升整体性能。

应用场景：

• 代码修复：快速检测修复代码中的错误或漏洞，减少人工排查和修复的时间。
• 测试代码生成：为现有代码生成高质量的单元测试代码，提升测试覆盖率。
• 开发流程自动化：与主流 IDE 集成，提供实时代码修复建议和测试代码生成功能。
• 编程教育：帮助初学者快速理解和掌握编程技能，基于生成示例代码和测试代码辅助学习。
• 开源项目维护：帮助开源项目的维护者快速修复漏洞和优化代码，提升项目质量和稳定性。

该教程算力资源采用单卡 RTX A6000，本教程部署的模型为 Kimi-Dev-72B-GGUF/Kimi-Dev-72B-IQ4_NL.gguf 。

二、效果展示

三、运行步骤

1. 启动容器

2. 进入网页后，即可与模型展开对话

若不显示「Model」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@misc{kimi_dev_72b_2025,
  title        = {Introducing Kimi-Dev-72B: A Strong and Open Coding LLM for Issue Resolution},
  author       = {{Kimi-Dev Team}},
  year         = {2025},
  month        = {June},
  url          = {\url{https://www.moonshot.cn/Kimi-Dev}}
}