要約

大規模言語モデル（LLM）のスケーラブルな成功を産業界における検索およびレコメンデーションシステムに再現しようとする関心が高まる中、現行の産業界の取り組みの多くは、Transformerアーキテクチャの移植にとどまっている。これにより得られる改善は、強力なディープラーニング推薦モデル（DLRM）に対するわずかな進歩にとどまり、本質的な飛躍には至っていない。第一原理的な観点から見ると、LLMの革新はそのアーキテクチャそのものに加え、二つの補完的なメカニズムに起因している。一つは「コンテキスト工学（context engineering）」であり、これは入力クエリに文脈情報を付加することで、モデルの能力をより効果的に引き出すことを目的とする。もう一つは「多段階推論（multi-step reasoning）」であり、中間的な推論経路を経てモデル出力を段階的に精緻化する仕組みである。しかしながら、これらのメカニズムおよびそれらが産業界のランキングシステムにおいて大幅な性能向上をもたらす可能性は、依然として十分に探求されていない。本論文では、産業界のカスケード型パイプラインにおける検索モデルおよびランキングモデルに、LLM風のコンテキスト工学と推論を一貫して統合する枠組み「OnePiece」を提案する。OnePieceは純粋なTransformerバックボーンに基づき、以下の三つの鍵となる革新を導入している。（1）構造化コンテキスト工学：ユーザーの行動履歴に、好みや利用シーンに関する信号を付加し、検索およびランキングの両側で統一された構造化トークンシーケンスとして扱える形式に変換する。（2）ブロック単位の潜在的推論（block-wise latent reasoning）：表現の多段階精緻化を可能にし、ブロックサイズの調整によって推論帯域幅をスケーラブルに制御する。（3）段階的多タスク学習：ユーザーからのフィードバックチェーンを活用し、学習中に推論ステップを効果的に監視・指導する。OnePieceはショーピー（Shopee）の主要なパーソナライズド検索シーンに本番導入され、GMV/ユーザー（GMV/UU）において2%以上の向上、広告収益において2.90%の増加を実現し、複数の主要ビジネス指標において一貫したオンライン性能向上を達成した。