AT&T每年接收约4000万次客户服务中心电话，这些电话不仅涉及添加电话线路、注册新地址或重新安排预约等常规需求，还有大量顾客报告问题的通话。每次客服通话都包含宝贵的信息，能够帮助公司及时发现并解决潜在的小问题，防止其演变成大问题。然而，人工处理这些通话记录是一项几乎不可能完成的任务，因此AT&T曾尝试利用自动化转录和分类技术来提升效率。过去，公司依赖ChatGPT模型来阅读和分类通话总结，虽然能够有效节省成本并年度挽回5万名顾客，但由于GPT-4高昂的费用及使用过程中遇到的性能瓶颈，AT&T决定寻找一种更具性价比的解决方案。 Hien Lam是AT&T的一位高级数据科学家，在今年3月Nvidia举办的GTC会议上详细介绍了公司转向开源AI的过程。Lam与H2O.ai公司的首席数据科学家Ryan Chesler合作，计划通过整合多个具有不同“技能”的开源AI模型，达成与ChatGPT类似的效果，同时大幅降低成本并保护企业数据隐私。 团队首先将GPT-4的功能分解为三个较小的开源模型，基础模型足以应对大约四分之一的分类任务，例如提及竞争对手名称的通话容易被识别。更复杂的情绪表达或故事叙述则需由更为先进的模型处理。其中一半的通话由H2O.ai开发的小型但强力的Danube模型负责。Lam与Chesler团队对Danube进行了调校，使其更好地适应AT&T的需求。最复杂的通话请求则交由Meta的大型Llama 70B模型处理。尽管开源模型运行同样需要计算资源，但仅在必要时启用大型模型，整体成本得以显著降低。 结果显示，采用拼接开源模型的解决方案仅花费了AT&T使用ChatGPT成本的35%，其相对准确率仍保持在91%，处理速度从原来的15小时缩短到不到5小时。未来，项目团队还希望进一步优化系统，实现客户挂断电话后即时完成通话分类，从而立即获得处理建议。 业内人士评价称，AT&T此举不仅体现了公司在技术选型上的灵活性和前瞻性，而且有效降低了运营成本，提升了服务质量。对于拥有海量客户数据的大公司而言，如何高效利用数据资源，保持用户粘性，是持续发展的关键。AT&T作为美国最大的电信运营商之一，此番在客户服务领域的成功尝试，或许能为其同行提供有益的借鉴。