HyperAIHyperAI

Command Palette

Search for a command to run...

兄弟俩开源突围AI训练垄断,顺手修复上百个模型漏洞

一对来自澳大利亚悉尼的兄弟——Daniel Han 和 Michael Han-Chen,凭借开源项目 Unsloth,正在重塑人工智能训练的规则。2023年秋天,Daniel因在Google Colab上无法运行130亿参数模型而萌生改变的念头。他曾任职于NVIDIA,专精算法优化,深知当前AI软件栈的性能瓶颈多源于通用性妥协,而非硬件限制。他与弟弟决定,用更高效的代码,打破大公司对AI训练的垄断。 他们从欧洲LLM效率挑战赛起步,仅用一块T4 GPU,通过深度优化,将训练速度提升2倍,内存占用减少50%,且无精度损失。这一成果在2023年12月以开源项目Unsloth发布,名字寓意“让AI训练不再像树懒般缓慢”。 Unsloth迅速走红,核心在于其对技术细节的极致追求。2024年3月,他们发现Google Gemma模型存在多个严重bug:分词器错误、位置编码计算异常、数值精度问题。他们用三天时间系统性分析,公开完整推导与测试数据,被Andrej Karpathy转发点赞。Google团队随后确认并采纳修复方案,官方致谢。 此后,Unsloth持续为Llama 3、Phi-4、Qwen 2.5等主流模型“修bug”,甚至发现并修复一个影响所有训练框架的梯度累积错误,被合并至Hugging Face Transformers主分支,惠及全球开发者。 其核心技术包括:手动推导反向传播、重写关键内核(如RoPE、RMSNorm)、动态量化技术,以及通过代数优化减少计算量。例如,将LoRA与注意力机制结合时,通过数学变换将三次矩阵乘法简化为一次,显著提升速度并降低显存占用。 在单块T4 GPU上,Unsloth将Alpaca训练时间从23小时缩短至2小时34分钟,效率提升8.8倍,内存使用减少近60%。如今,Unsloth在GitHub星标超4.7万,月下载量超200万次,支持Llama、Mistral、Gemma、Qwen等主流模型。 更深远的影响在于普惠:来自中国、印度、印尼、土耳其等地的开发者,利用Unsloth将英语模型本地化为韩语、日语、印度地方语言等,让非英语使用者首次拥有自己的AI工具。 项目采用开源+付费Pro/MAX版本模式,核心代码始终免费。兄弟俩强调:“开源带来信任,让每个人都能验证、改进、参与。”他们的Discord社区活跃,用户需求直接驱动产品迭代。 “当大公司用上万张H100训练时,我们要证明,用更少资源、更聪明方法,也能让AI惠及每一个人。”Daniel说。Unsloth不仅是一个工具,更是一场关于开放、效率与公平的AI革命。

相关链接