Transformers v5リリース:シンプルな定義で進化するAIエコシステムの基盤
Hugging Faceが開発するAIモデル定義ライブラリ「Transformers」が、リリースから5年を経てv5.0.0rc-0を正式発表した。v4リリースから5年間で、Transformersのインストール数は1日300万回を超え、累計12億回を突破。モデルアーキテクチャの数もv4時の40から400以上に拡大し、コミュニティによるモデルチェックポイントは75万件以上に達している。この成長は、AIの主流化とエコシステムの拡大に伴うもので、Transformersは今やAI開発の基盤的存在となっている。 v5の開発では「シンプルさ」「トレーニング」「推論」「プロダクション対応」を重点テーマに掲げた。まず、コードの簡潔さを追求し、モジュール化を大幅に進めた。これにより、モデル追加の負担が軽減され、メンテナンス性が向上。特に「AttentionInterface」の導入で、各種アテンション機構(FA1/2/3、SDPAなど)を一元管理し、コードの再利用性を高めた。また、トークナイザーの「Fast」と「Slow」の区別を廃止し、主にtokenizersライブラリを採用。画像処理も高速版のみをサポート。FlaxとTensorFlowのサポートは終了し、PyTorchを唯一のバックエンドとして徹底。JAXエコシステムとの連携も進める。 トレーニング面では、スケールでの事前学習(pre-training)を強化。並列化や最適化カーネルのサポートを拡充し、torchtitanやmegatronなどとの連携を実現。ファインチューニングツール(Unsloth、Axolotl、LlamaFactory、TRL、MaxTextなど)との互換性も維持・強化。推論面では、専用カーネルの自動適用、新しいAPIの導入、vLLMやSGLang、ONNXRuntime、llama.cpp、MLXなどとの連携を強化。GGUF形式の読み込みや変換が容易になり、ローカル実行やエッジデバイスへの展開が進んだ。 特に注目すべきは、量子化(quantization)の第一級サポート。8ビットや4ビットの低精度モデルが主流となる中、v5では量子化を標準機能として位置づけ、bitsandbytesやTorchAOとの連携を強化。トレーニングと推論の両方で安定した性能を実現。 v5の核心は「相互運用性」。モデルをUnslothやAxolotlでトレーニングし、vLLMやSGLangでデプロイし、llama.cppやexecutorchでローカル実行――というワークフローをスムーズに実現。これは、コミュニティと開発チームの5年間の協働の結晶であり、AI開発の標準化と効率化を推進する新たな一歩である。今後、GitHubでのフィードバックを待つとともに、エコシステム全体の進化を牽引する存在としての役割を果たす。
