Résumé

Malgré l’intérêt croissant porté à reproduire le succès à grande échelle des grands modèles linguistiques (LLM) dans les systèmes industriels de recherche et de recommandation, la plupart des initiatives existantes restent limitées au simple transfert d’architectures Transformer, offrant uniquement des améliorations marginales par rapport aux modèles forts de recommandation fondés sur l’apprentissage profond (DLRM). Du point de vue des principes fondamentaux, les progrès des LLM ne s’expliquent pas uniquement par leur architecture, mais aussi par deux mécanismes complémentaires : l’ingénierie de contexte, qui enrichit les requêtes brutes par des indices contextuels afin d’optimiser l’exploitation des capacités du modèle, et le raisonnement multi-étapes, qui affine itérativement les sorties du modèle à travers des chemins de raisonnement intermédiaires. Or, ces deux mécanismes, ainsi que leur potentiel d’apporter des améliorations significatives, restent largement sous-exploités dans les systèmes industriels de classement.Dans cet article, nous proposons OnePiece, un cadre unifié qui intègre de manière fluide l’ingénierie de contexte et le raisonnement inspirés des LLM dans les modèles de récupération et de classement des pipelines industriels en cascade. OnePiece repose sur une architecture fondamentale purement Transformer et introduit trois innovations clés : (1) une ingénierie structurée du contexte, qui enrichit l’historique d’interaction par des signaux de préférence et de scénario, puis les intègre de manière unifiée dans une séquence d’entrée structurée et tokenisée, utilisable aussi bien pour la récupération que pour le classement ; (2) un raisonnement latent par blocs, qui confère au modèle la capacité de raffiner itérativement ses représentations et permet d’ajuster la bande passante du raisonnement en fonction de la taille des blocs ; (3) une formation progressive multi-tâches, qui exploite les chaînes de retour utilisateur pour superviser efficacement les étapes de raisonnement durant l’entraînement. OnePiece a été déployé dans la principale scène de recherche personnalisée de Shopee, où il a permis d’obtenir des gains en ligne constants sur plusieurs indicateurs clés d’activité, notamment une augmentation de plus de +2 % du GMV par utilisateur (GMV/UU) et une progression de +2,90 % des revenus publicitaires.