Meta推出TestGen-LLM:用大语言模型自动提升单元测试质量
本文介绍了Meta公司开发的一款名为TestGen-LLM的工具,该工具利用大型语言模型(LLM)自动改进现有的人工编写单元测试。TestGen-LLM生成的测试类需要通过一系列过滤器的验证,以确保相比原有测试套件具有可衡量的改进,从而避免因LLM的“幻觉”现象导致的问题。 TestGen-LLM在Meta公司的Instagram和Facebook平台上进行了大规模部署。在对Instagram的Reels和Stories功能进行评估时,结果显示75%的TestGen-LLM生成的测试用例构建正确,57%能够可靠地通过测试,25%增加了测试覆盖率。这一成果表明,TestGen-LLM不仅提高了测试用例的质量,还显著提升了测试覆盖率。 此外,TestGen-LLM在Meta举办的Instagram和Facebook测试马拉松活动中表现出色。该工具在所有应用的测试类中实现了11.5%的改进,其中有73%的建议被Meta的软件工程师采纳并应用于生产环境。这标志着在工业规模上首次成功应用LLM生成的代码,并且确保了代码质量的提升。 TestGen-LLM的成功部署不仅展示了大型语言模型在实际软件开发中的巨大潜力,也为未来的自动化测试工具开发提供了宝贵的经验和参考。Meta表示将继续优化该工具,进一步提高其测试能力和效率。
