Hugging Face、30億パラメータのコンパクトモデル「SmolLM3」をリリース：長文処理と多言語対応を実現

Hugging Face、3Bパラメータの長期コンテキスト多言語推論モデル「SmolLM3」をリリース Hugging Faceは、最新の「Smol」言語モデル「SmolLM3」を発表しました。この3Bパラメータのモデルは、長文ドキュメントの処理やマルチステップ推論など、複雑なタスクを効率的に行いながら、多言語対応を実現しています。一般的には7B以上のパラメータが必要となる高コンテキスト処理能力を持つモデルですが、SmolLM3は少ないパラメータで最適な性能を発揮します。これにより、コスト効率よくハードウェア制約のある環境にも展開できるようになりました。 SmolLM3の特徴 1. 長期コンテキスト推論（最大128kトークン） SmolLM3は、最大128,000トークンの长期コンテキストを処理できます。これは、長期のドキュメントやログ、構造化されたレコードなどを扱う際、コンテキストの長さが理解度や精度に直接影響を与えるタスクにおいて重要です。 2. 双方向推論 SmolLM3-3Bでは、オープンエンド生成と構造化推論の両方をサポートする双方向推論モードを採用しています。これにより、RAGパイプラインからエージェントワークフローまで、多様なアプリケーションに活用が可能になります。 3. 多言語対応 11兆トークンの多言語コーパスで訓練されたSmolLM3は、英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語の6言語をサポートし、XQuADやMGSMなどのベンチマークで良好な成績を上げています。 4. 小さなサイズで最適な性能 3Bパラメータという小さなサイズでありながら、Mistral-7Bと同程度の性能を達成しています。これは、訓練データの質（11兆トークン）と構造の最適化によって可能になっています。 5. ツール利用と構造化出力 SmolLM3はツール呼び出しタスクでも優れた性能を示しており、プロンプトベースのワークフローだけでなく、定型入出力を必要とするシステム（例如えんじんやAPI駆動型環境）でも適切に動作します。 技術的な訓練の詳細 SmolLM3は、高品質なウェブコンテンツ、コード、学術論文、多言語ソースなどを含むHugging Faceの内部ミクスチャで訓練されました。11兆トークンの訓練はGPUクラスターを用いたマルチノード分散訓練戦略で行われ、Flash Attention v2などの最適化が施されました。トークナイザーは128kトークンのSentencePieceモデルで、すべての言語で共有されています。 長コンテキストのサポートのために、線形とグループ化された注意機構が用いられ、二次元の複雑さを最小限に抑えつつ性能を維持しています。これにより、コンテキストの長さが128kになるような訓練と推論が実現しています。さらに、SmolLM3-3Bのインストラクションチュニングは、trdxライブラリーを用いてチャット指示、推論タスク、ツール使用デモンストレーションに合わせて訓練されました。 パフォーマンスのベンチマーク SmolLM3は、複数の多言語および推論ベンチマークで強い性能を発揮します。最新の7Bや13Bモデルをすべて凌ぐわけではありませんが、パラメータに対する性能比はクラス最高レベルです。 シーンとアプリケーション ドキュメント要約: 長い文章を短く要約する能力 エージェントワークフロー: 自動化されたエージェントとの連携 RAGパイプライン: 構造化された情報検索と生成 多言語対応アプリケーション: 異なる言語間での一貫性 業界からの反応 SmolLM3のリリースは、研究者や開発者から高く評価されています。Hugging Faceの研究者が取り組んだ訓練方法と建築設計により、小型のモデルでも複雑なタスクで堅実な性能を発揮できることを証明しています。SmolLM3は、特にハードウェアリソースが限られた環境で利用される可能性が高く、業界に新たなモデルEfficiencyの基準を提供するものです。 Hugging Faceは、世界最大の機械学習コミュニティの一つを運営しており、SmolLM3を通じて、さらに広い範囲のユーザーに機械学習の恩恵をもたらすことが期待されています。