Command Palette
Search for a command to run...
K2-V2:360-オープン、推論強化型LLM
K2-V2:360-オープン、推論強化型LLM
Abstract
本稿では、一般のLLMが有する会話や知識検索などの機能に加え、推論適応のための優れた基盤として、完全に新規に構築された360度オープン型LLM「K2-V2」を紹介する。K2-V2は、同サイズクラスにおけるオープンウェイトモデルのリーダーと並ぶ強力な性能を発揮し、Qwen2.5-72Bを上回る性能を示し、Qwen3-235Bの水準に近づいている。本モデルは、学習プロセス全体にわたり、ドメイン知識、推論能力、長文対応、ツール利用機能を積極的に統合している。これにより、複雑な推論タスクに特化したモデルの構築が明示的に可能となる。単純な教師あり微調整(supervised fine-tuning)を用いてその可能性を実証し、高度なアライメント技術の発展に向けた大きな余地(headroom)を示す強力なベースラインを確立した。また、全学習履歴およびデータ構成を公開することで、継続的学習(continuous training)というオープンソース開発の重要なシナリオにおける効果を最大化した。本研究では、モデル重みおよびLLM360の特徴的なアーティファクト(完全な学習データなど)を公開し、推論中心の強力な基盤をコミュニティに提供することで、今後の研究と開発を支援する。