ドイツのラボから新登場、DeepSeek R1T2キメラ。R1-0528比200%の高速化と推論力向上を実現

AIスタートアップDeepseekが新モデル「R1-0528」をリリース Deepseekは、中国のAIスタートアップで、香港に拠点を置くHigh-Flyer Capital Managementの分社です。7月3日、DeepseekはそのオープンソースのAIモデル「R1-0528」を公開しました。このモデルは、前バージョン「Deepseek-R1」と同じように、非常に低いトレーニングコストで高い推論能力を実現し、開発者や企業にとって無料で利用可能であることが注目を集めています。Apache 2.0ライセンスの特許性thanksため、他のAIラボや開発者がすぐに利用し始めています。 TNG Technology Consultingが「DeepSeek-TNG R1T2 Chimera」を公開 ドイツを中心に活動する24年に及ぶ技術コンサルティング企業であるTNG Technology Consultingは、DeepseekのR1-0528をベースに新たな適応モデル「DeepSeek-TNG R1T2 Chimera」を発表しました。R1T2 Chimeraは、パフォーマンスと速度の両面で大きな進歩を遂げ、推論ベンチマークの90%以上を達成しながら、R1-0528の出力トークン数の40%以下でレスポンスを生成できる点が特徴です。 R1T2は、深層学習モデルの中でも特に推論コストを削減するために設計されており、計算コストを大幅に節約することができます。TNGのCEOは、R1T2が「約20%の通常のR1より速く、R1-0528より2倍以上速い」と述べています。これにより、レスポンス時間が短縮され、高速な推論処理が可能になるだけでなく、コストも大幅に削減されます。 Assembly-of-Experts（AoE）とMixture-of-Experts（MoE）の違い Mixture-of-Experts（MoE）は、異なる成分、「エキスパート」が入力に対して条件付きで活性化されるアーキテクチャデザインです。例えばDeepseekのV3のようなモデルでは、各トークンの推論時に全256層のうち8層程度のみが活性化します。これによって大規模なモデルでも推論コストを抑えられ、特殊化した推論を実現できます。 一方、Assembly-of-Experts（AoE）はアーキテクチャではなくモデルマージリング技術です。これは、複数の事前学習済みMoEモデルの重みテンソルを選択的に組み合わせるための方法です。R1T2では、R1-0528、R1、およびV3-0324の3つの親モデルが「トリマインド」構成で統合され、高効率で推論できるようになっています。この手法は、追加の微調整や再学習を必要とせず、モデルの推論能力を維持しつつ、出力の冗長性や遅延を大幅に低減します。 達成された効果 ベンチマークでの比較によると、R1T2は最高峰の推論性能を有する親モデルR1-0528の90〜92%の性能を維持していますが、出力の冗長性は大幅に抑制されています。平均的なタスクあたりの出力トークン数が少なくなることで、GPUの稼働時間とエネルギー消費が削減され、インフラストラクチャコストを抑えることができるのです。 また、R1T2は従来のR1よりも平均的には20%以上短い出力を生成し、R1-0528よりも60%少ないトークン数で回答を生成します。これは推論時間を2倍に短縮し、計算負荷を大幅に軽減します。このバランスは、企業における高通量やコスト敏感なデプロイメントに特に重要です。 デプロイメントの検討ポイントと入手先 R1T2はMITライセンスに基づいてHugging Faceで公開されており、商業用途での利用や改変が可能です。TNGは、モデルが一般的な推論タスクに適していることに触れつつも、機能呼び出しやツール使用が必要な用途には推奨しない旨を述べています。これはR1からの制限を受け継いでいるからです。しかし、将来的な更新でこれらの制限が解消される可能性があります。 EU域内で事業を行っている企業は、2025年8月2日に施行されるEU AI法を遵守する必要があります。米国人ベースのユーザー向けにサービスを提供している国内企業や他国の企業は、この法律には適用されません。ただし、EUのユーザーを対象としたサービスを提供している場合、法律による一部の規定が適用されることに注意が必要です。 TNG Technology Consulting GmbHとは 2001年1月に設立されたTNG Technology Consulting GmbHは、ドイツのバイエルン州を本拠地とし、900人以上の従業員、多くの博士号取得者や技術スペシャリストを抱えています。同社はソフトウェア開発、AI、DevOps/クラウドサービスに焦点を当て、通信、保険、自動車、EC、物流などの分野の大企業を顧客としています。 TNGは価値基盤型のコンサルティングパートナーシップとして運営されており、運用研究と自己管理の原則に基づいた組織文化が技術革新を支えています。オープンソースコミュニティや研究への積極的な貢献を示すように、R1T2やAoEメソッドの技術論文の公開を通じて、公開や改変を推奨しています。 企業技術意思決定者にとっての意義 CTO、AIプラットフォーム所有者、エンジニアリングリード、IT調達チームにとって、R1T2は多くの利点と戦略的な選択肢を提供します。 推論コストの削減: 少ない出力トークン数によりGPU利用率とエネルギー消費が削減され、インフラストラクチャコストを節約します。リアルタイム環境や高通量処理にとって特に重要です。 高品質な推論能力: 上位クラスのモデルR1-0528と同等の推論能力を保ちながら、冗長性を排除します。数学、プログラミング、論理などの構造化されたタスクに最適です。 オープンかつカスタマイズ可能: MITライセンスにより、完全なデプロイメントコントロールとカスタマイゼーションが可能になり、制御下や隔離された環境でのプライベートホスティングやモデルアライメント、さらなる学習などが行えます。 モジュール化の進展: AoEアプローチは、既存のモデルの特性を再結合することで、専門的なバリエーションを作成できるモジュール化された未来のモデル構築方法を示唆しています。これは、ゼロから学習を始める必要なく高性能なモデルを作成できる点で注目に値します。 補足情報 専門家のコメント: RedditのLocalLLaMAコミュニティからの反応によれば、ユーザーたちはR1T2の反応速度、トークン効率、速度と一貫性のバランスについて称賛しています。一部のユーザーは数学的なコンテキストでのパフォーマンスが以前のR1バリエーションよりも優れていることに触れ、さらに別のユーザーはR1やV3ベースのモデルよりも仮想実体の生成が安定していることを指摘しています。 広範な影響: R1T2はすでにChutesサーバレス推論プラットフォームで毎日約5億トークンを処理しており、コミュニティ内の開発者はさらなる微調整や強化学習の実験を進めています。TNGは、このモデルの可用性を高め、より広範な利用を推進することに尽力しています。 結論: DeepSeek-TNG R1T2 Chimeraは、勾配ベースの学習を必要とせずに、高性能で効率的な大規模言語モデル（LLM）の生成を見事に実現しています。高度な推論能力と効率的なトークン生成のバランスを取ったモデル構築を示す一方で、MITライセンスによる公開はアクセス性を確保しています。将来的には、AoE手法がパラメータ領域のインタポレーションをさらに進展させ、よりモジュール化且つ解釈可能なLLM開発につながることが期待されています。