オーストラリア・シドニーに住む兄弟、Daniel HanとMichael Han-Chenが開発したオープンソースプロジェクト「Unsloth」が、AIモデルのトレーニング効率を劇的に向上させ、業界に大きな影響を与えている。2023年秋、彼らはGoogle Colabの無料GPU（T4）で130億パラメータのモデルを微調整する際の極端な遅さとメモリ不足に直面。NVIDIAでアルゴリズム最適化を担当していたDanielは、ハードウェアの限界ではなくソフトウェアの非効率が問題だと判断。弟との協力により、自らの手でトレーニングパイプラインを再設計し、2023年12月に「Unsloth」をオープンソースとして公開した。 Unslothの最大の特徴は、PyTorchの自動微分機能に依存せず、行列微分を手動で最適化することで、速度を最大8.8倍、メモリ使用量を最大59％削減すること。特に、注意力機構とLoRA（低ランク適応）を組み合わせる際の計算順序を数学的に再構成することで、浮動小数点演算数を数桁削減。さらに、OpenAIのTriton言語を用いて高速なカーネルを再実装し、RoPE位置エンコーディングやRMS層正規化などの重要なモジュールを高速かつ正確に実装。また、「動的4ビット量子化」により、精度を維持しながらメモリ消費を大幅に削減。 2024年3月、GoogleのGemmaモデルに複数の深刻なバグ（分詞器の誤作動、位置エンコーディングの誤計算、数値精度の不具合）が発見され、Unslothが原因を特定・修正。詳細な数式とテスト結果を公開したところ、コミュニティから信頼を得、Andrej Karpathy氏も「深層学習スタックの理解の価値を示した」と称賛。Googleは修正を公式に採用し、謝辞を発表。 その後、MetaのLlama 3、MicrosoftのPhi-4、アリババのQwen 2.5など、主流モデルの多数に対し、迅速にバグ修正と最適化を提供。特に、すべてのトレーニングフレームワークに影響する「勾配蓄積の実装誤り」を発見し、Hugging Face Transformersのメインブランチにマージされ、世界中の開発者に恩恵をもたらした。 UnslothはGitHubで星付き数47,500を超え、月間ダウンロード数200万回以上。中国、インド、韓国、中南米などからの開発者が、英語以外の言語向けにモデルを微調整する事例も急増。特に韓国語やインド諸言語へのモデルローカライズが進み、非英語圏ユーザーにとって初めてのAIツールが実現された。 兄弟は、プロ版とマックス版を有料提供しながらも、核心となるコードを完全にオープンソースに維持。彼らの信念は「AIの民主化」にある。「大企業が10万枚のH100を使う時代でも、よりスマートなソフトウェアで、少ないリソースで誰もがAIを使えるようにする」。そのビジョンが、開発者コミュニティを結び、AIの未来を再定義している。