随着Databricks引入AI函数功能，大型语言模型（LLM）可以轻松集成到任何数据工作流中。这意味着即使是不会Python或缺乏ML/AI基础设施知识的分析师和业务用户，也可以直接通过SQL查询完成复杂的AI任务。本文将指导如何在Databricks上利用LLM实现电子邮件分类，具体来说，就是要自动检查邮件并根据邮件内容判断客户是否要求从营销邮件列表中退订。 实施过程 第一部分：AI函数 Databricks 的 AI 函数 ai_query() 可以帮助我们实现邮件分类。假设我们有一个包含 “Email_body” 列的测试数据集，可以通过 ai_query() 函数调用 LLM 来识别客户意图。这里使用了 Si 等人在2024年设计和测试的一个少数示例提示模板，该模板最初用于检测邮件垃圾信息，稍加修改后用于判断邮件是否为退订请求。 具体的提示模板如下： ``` 忘掉所有的先前指令，假设你是一个电子邮件分类专家，试图判断一封邮件是否是要求退订营销邮件。如果是，请回答“Remove”，如果不是，请回答“Keep”。如果难以判断，可以选择“Remove”或“Keep”，只需回答“Remove”或“Keep”。 以下是一些例子： * “我希望能够不再收到邮件” 是 “Remove”； * “请把我从所有订阅中删除” 是 “Remove”； * “我想更新我的送货地址” 是 “Keep”； * “我的产品保修何时到期？” 是 “Keep”； 现在，请判断这封邮件是“Remove”还是“Keep”： 邮件内容: ``` 将这些元素组合成一个SQL查询，对所有邮件执行批量推理，并生成标签： sql select *, ai_query( 'databricks-meta-llama-3-3-70b-instruct', "${prompt}" || Email_body, modelParameters => named_struct('max_tokens', 1, 'temperature', 0.1) ) as Predicted_Label from customer_emails; 第二部分：访问Gmail API 为了实现自动化邮件分类，我们需要一种方法来自动摄入邮件。下面是一个逐步指南，介绍如何使用Gmail API实现这一点： 配置Gmail账户以使用API： 创建项目并启用Gmail API。 配置OAuth同意屏幕。 授权用户进行身份验证并发布应用。 从Databricks Notebook访问Gmail收件箱： 由于不使用服务账户，需要手动身份验证。这一步骤包括打开浏览器中的OAuth页面，生成一个临时代码。 在Databricks集群上，集群没有浏览器访问权限，因此需要一个变通方法。具体做法是让用户在本地浏览器中打开一个URL，完成身份验证并获取错误页面上的临时代码。 完成身份验证后，可以使用以下函数从Gmail读取邮件，将邮件信息保存到Spark DataFrame中，并最终存储到Delta表中： ```python 建立Gmail API服务并下载邮件 service_ = build('gmail', 'v1', credentials = access_) emails = get_email_messages_since(service_, since_day=25, since_month=3, since_year=2025) if emails: spark_emails = spark.createDataFrame(emails) display(spark_emails) else: spark_emails = None print("未找到邮件。") ``` 结果与评估 通过上述步骤，Databricks能够自动从Gmail邮箱中读取邮件，并利用LLM进行分类。这种自动化流程不仅提高了效率，还减少了人工审核的工作量。最终，系统可以根据邮件内容准确地判断客户的退订请求，并采取相应的措施。 专家评价 业内专家认为，这种方式的实施展示了大型语言模型在实际业务场景中的巨大潜力。特别是在企业环境中，这种自动化分类工具可以显著提高客户服务的质量和速度。Databricks作为一个强大的数据处理平台，其对AI函数的支持使得复杂的任务变得更加简单和高效。 公司背景 Databricks是一家专注于大数据和机器学习的科技公司，成立于2013年。该公司以其Spark平台和Delta Lake技术而闻名，提供高效的数据处理和分析解决方案。其最新推出的AI函数功能进一步拓展了其在企业数据智能领域的领先地位。