一句话总结

本教程综述了从以ID为中心的推荐模型向多模态预训练与生成框架的演进，详细阐述了文本、图像、音频和视频数据如何克服新闻、音乐及短视频平台上的类别特征局限，同时系统性地介绍了多模态预训练技术、生成方法、工业应用以及开放的研究挑战。

核心贡献

• 本教程系统性地介绍了多模态预训练与生成技术，以克服传统基于ID的推荐器无法捕捉丰富跨模态项目内容的局限。该教程构建了一个结构化框架，展示了从基础预训练方法向基于生成的推荐系统方法的演进路径。
• 与以往关注通用多模态学习或入门级动手项目的综述不同，本文重点考察了预训练多模态模型在实际推荐流水线中的适配与集成。文中详细阐述了将多模态大语言模型高效且个性化地适配至推荐任务的方法论。
• 该教程通过阿里巴巴、京东、腾讯、百度、小红书、Pinterest和华为等平台的已记录工业部署案例，为其框架提供了实证支持。此外，还概述了多模态表征融合、多域预训练、面向推荐的AIGC以及标准化基准测试中的关键开放挑战。

引言

个性化推荐系统驱动着数字平台上的内容发现，然而传统架构主要依赖用户与项目标识符及类别特征。这种以ID为中心的方法无法捕捉原始文本、图像和音频中蕴含的丰富语义信息，严重限制了新闻和短视频等多媒体驱动型应用的性能。作者利用多模态预训练和生成式AI的最新进展，重新构建了推荐系统处理跨模态数据的方式。文中系统性地阐述了实用的适配框架，详细说明了AI生成内容在个性化推荐中的新兴应用，并提炼了真实世界工业部署经验与关键研究挑战。

数据集

• 数据集构成与来源：提交的文本中未提供数据集构成或来源信息，仅列出了教程演讲嘉宾与会议议程。
• 各子集关键细节：材料中未描述任何子集的大小、来源或过滤规则。
• 论文的数据使用方式：文本未说明训练集划分、混合比例或数据处理工作流，而是概述了一份专注于推荐任务中多模态预训练与生成的教程议程。
• 裁剪策略、元数据构建或其他处理细节：提供的内容未包含有关裁剪策略、元数据组装或任何其他预处理步骤的信息。