Command Palette

Search for a command to run...

1 个月前

OnePiece:将上下文工程与推理引入工业级级联排序系统

OnePiece:将上下文工程与推理引入工业级级联排序系统

摘要

尽管业界对在工业级搜索与推荐系统中复现大规模语言模型(LLMs)的规模化成功日益关注,但现有大多数工业实践仍局限于直接移植Transformer架构,这类方法仅在强基准深度学习推荐模型(DLRMs)基础上带来有限的改进。从基础原理出发,LLMs的突破不仅源于其架构设计,更依赖于两种互补机制:上下文工程(context engineering),即通过引入上下文线索丰富原始输入查询,以更有效地激发模型能力;以及多步推理(multi-step reasoning),即通过中间推理路径迭代优化模型输出。然而,这两种机制及其在工业级排序系统中实现显著性能提升的潜力,目前仍鲜有深入探索。本文提出OnePiece,一个统一框架,可无缝将类LLM的上下文工程与推理机制整合至工业级级联流水线中的检索与排序模型。OnePiece基于纯Transformer骨干网络,并引入三项关键创新:(1)结构化上下文工程,通过融合用户偏好与场景信号来增强交互历史,并将其统一为结构化的分词输入序列,适用于检索与排序两个阶段;(2)分块隐式推理(block-wise latent reasoning),赋予模型多步表示精炼能力,并通过调整分块大小灵活扩展推理带宽;(3)渐进式多任务训练,利用用户反馈链在训练过程中有效监督推理步骤。OnePiece已部署于Shopee主个性化搜索场景,在多个核心业务指标上均实现稳定线上提升,包括用户单位商品交易额(GMV/UU)提升超过+2%,广告收入增长达+2.90%。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供