Inception Labs、超高速コード生成モデル「Mercury」を発表：並列トークン生成により効率大幅向上

Inception Labs、Mercury：超高速コード生成のための拡散型言語モデルを導入 生成人工知能（AI）がソフトウェア開発における様々なコーディングタスクの自動化に大きく貢献しているにもかかわらず、従来の言語モデルは自回帰（autoregressive）手法を主に用いており、1つのトークンずつ予測することで、本質的なボトルネックと遅延問題が生じていました。特にコーディングアプリケーションでは、この遅いsequential generationにより、リアルタイムのインタラクティブ環境や即時レスポンスが必要なシナリオでの効率が制限されていました。既存の最速化されたモデル（GPT-4o、Claude 3.5 Haikuなど）が某种程度のパフォーマンス改善を示していますが、トークンごとの生成という基本的な制約はなお存在し、並列生成と大幅な遅延軽減を可能にする替代的なモデリングアプローチへの移行が求められていました。 Mercuryの導入と特徴 Inception Labsの研究者が導入したMercuryは、コーディングアプリケーション向けに最適化された革新的な拡散型大規模言語モデル（LLM）家族です。このファミリーの最初のモデルであるMercury Coderには、Mercury Coder MiniとMercury Coder Smallの2つのバリアントが含まれています。これらのモデルは、トランスフォーマーベースのアーキテクチャに平行的なトークン生成を組み合わせており、計算効率と全体のthroughputを大幅に向上させています。独立評価機関『Artificial Analysis』によるテストでは、Mercury Coder Miniが1秒あたり1,109トークン、Mercury Coder Smallが737トークンのthroughputに達しており、従来の自回帰モデルよりもはるかに速いことが確認されています。 拡散メカニズムと並列トークン生成 Mercuryモデルは、初期のランダムノイズから一貫性のあるデータへと逐次的に精製する拡散プロセスを活用しています。従来モデルが順次的にトークンを予測するのに対し、Mercuryモデルは各反復で複数のトークンを同時に精製するため、GPUの使用効率が大幅に向上します。トレーニング時には、ウェブクロール、合成データ、そして特許データベースから兆単位のトークンが収集され使用されました。拡散トレーニングプロトコルには、クリーンデータにノイズを段階的に追加する「前方プロセス」と、このノイジーデータを逐次的にdenoiseする「逆方向プロセス」が含まれ、Mercuryはdenoising diffusion lossを使用することで、トークンの同時調整が可能となり、並列化が大幅に強化されます。さらに、Mercuryモデルは既存の自回帰モデルで一般的に使用されているzero-shotやfew-shot学習などのプロンプト方法を採用し、既存のコーディングワークフローとのシームレスな統合を確保しています。 ベンチマークでの精度：Mercuryモデルの優れたパフォーマンス Mercury Coder Smallは、HumanEval試験（Pythonコーディングを対象にしたもの）で90.0%、MultiPL-E試験（C++、Java、JavaScript、PHP、Bash、TypeScriptなど多言語をカバーするもの）で76.2%の精度を達成しました。Mercury Coder Miniも同様に優秀な結果を出し、HumanEvalで88.0%、MultiPL-Eで74.1%の精度を得ています。特にfill-in-the-middleコーディングタスクにおいて、Mercury Coder Smallは84.8%の平均精度で他の主要モデルを上回りました。Copilot Arenaプラットフォームを用いた実世界の人間評価でも、Mercury Coder Miniは全体的なユーザープREFERENCEで2位となり、既存の主要モデル（GPT-4o Mini、Gemini 1.5 Flash）を上回り、25ミリ秒の平均遅延を持つという低遅延性能を示しました。 さらに、Mercuryモデルは特定言語の評価でも一貫して優れた結果を示しており、MultiPL-Eベンチマークでは、C++で82.0%、Javaで80.1%、JavaScriptで83.9%、PHPで78.3%、Bashで50.1%、TypeScriptで82.6%の精度を達成しました。 Key Takeaways: 高throughput、高精度、ワークフローの互換性 Inception LabsのMercuryは、並列的なトークン生成によって高速化と高精度を実現し、既存のコーディングアシスタントよりも優れた性能を発揮します。リアルタイムコーディングニーズに応えるための新たな選択肢として注目を集め、業界の標準となる可能性があります。 業界関係者からは、「Mercuryの登場は、コーディングアシスタントの新しい時代の幕開けとなるだろう」とのコメントが出ています。Inception Labsは、AIリサーチおよび開発分野で注目される企業であり、その技術革新力が期待されています。