腾讯PCG：AI评测推动质量工程进化进入新阶段

AI能力并非仅仅“接入模型就万事大吉”。真正需要持续回答的核心问题在于：它是否稳定、可信、可评估、可持续优化。

在传统软件质量体系中，许多问题还可以依靠明确的输入、输出、断言和流程来验证。但一旦进入AI应用场景，情况就变得复杂得多：同一个问题，不同模型给出的答案可能差异巨大；同一业务场景，更换一组Prompt、知识库或参数配置，结果也可能截然不同；一次评测通过，并不能保证下一次版本迭代依然稳如磐石。

因此，AI评测正从“辅助验证工具”的角色，逐步演变为AI应用工程化落地中不可或缺的质量能力。

在本届TID质量竞争大会上，腾讯PCG工程效能专家张超将带来一个极具价值的议题：《AI评测质量工程进化》。这场分享将围绕AI评测在真实业务场景中的质量挑战、体系建设和工程演进展开，对正在关注AI测试、AI评测、质量工程和研发效能的团队来说，绝对是干货满满。

讲师介绍

张超，腾讯PCG工程效能专家，拥有15年软件研发和效能领域从业经验。目前负责应用效能技术部质效中心AI测评平台建设，以及视频商业化后台质效保障工作。作为12级工程效能专家，他长期深耕软件架构、系统重构、工程效能和质量保障方向，积累了丰富的系统解决方案设计与落地经验。

从软件工程到效能工程，再到AI评测质量工程，张超的实践背景本身就代表了一个重要趋势：质量保障正在从传统测试环节，逐步走向更前置、更系统、更智能化的工程体系。

为什么AI评测会成为质量工程的新命题？

过去我们谈测试，更多关注功能是否正确、流程是否可用、性能是否达标、缺陷是否收敛。但AI应用带来的质量问题，并不完全等同于传统软件问题。AI系统的输出往往具有不确定性，评判标准也更依赖业务语境。尤其在内容理解、智能问答、搜索推荐、智能客服、视频商业化这类复杂场景中，AI的表现不只是“能不能回答”，更要看：

• 是否符合业务标准
• 是否稳定可复现
• 是否具备足够的可信度
• 是否能够支撑版本持续迭代
• 是否能在问题发生后被追踪和复盘

这意味着，AI评测不再是一次性的人工打分，而是需要进入质量工程体系，成为AI应用持续演进的一部分。

AI评测面临的典型挑战

张超本次分享中，会重点剖析AI评测过程中常见的几类痛点。

1. 效率压力

AI应用迭代速度很快，模型、Prompt、知识库、业务规则都可能频繁变化。如果评测主要依赖人工，往往会出现周期长、成本高、覆盖不足的问题。尤其当评测对象从单轮问答扩展到多轮对话、复杂任务和多模型对比时，效率压力会被进一步放大。

2. 标准不统一

不同业务团队、不同角色、不同评测人员，对于“什么是好结果”可能有不同理解。缺少统一的评测标准和过程规范，评测结果就很难沉淀，也很难在不同业务之间复用和对比。

3. 扩展能力不足

AI评测不是单点能力，而是涉及数据、任务、模型、规则、报告、反馈等多个环节。当业务场景越来越多，评测规模越来越大，平台能力如果缺少良好的工程设计，很容易出现模块混杂、扩展困难、维护成本上升等问题。

4. 过程难追溯

AI评测结果是否可信，很大程度上取决于过程是否透明。数据来自哪里，评测标准是什么，使用了哪个模型版本，采用了什么配置，最终判断依据是什么——这些信息如果不能被记录和追踪，后续复盘就会变得非常困难。

这场分享值得关注的几个看点

相比单纯讨论“AI怎么测”，这场议题更值得关注的地方在于，它从质量工程视角重新审视AI评测。

看点一：从工具能力走向工程体系

AI评测不是简单做一个自动打分工具。真正进入业务深水区后，评测需要具备方案管理、任务执行、智能评判、报告分析、数据沉淀和持续优化等能力。这背后体现的是质量工程从“点状工具”到“体系能力”的升级。

看点二：从人工经验走向标准化评测

AI评测很容易陷入“凭感觉判断”的状态。但对于企业级场景来说，仅靠人工经验很难支撑规模化应用。评测标准如何定义、评测过程如何规范、评测结果如何复盘，是AI质量体系必须解决的问题。

看点三：从一次评测走向持续演进

AI应用不是上线后就结束了。模型会更新，业务会变化，用户问题会持续出现，知识库也需要不断迭代。因此，AI评测更像是一个持续运行的质量反馈机制。它不仅用于发现问题，也会反过来推动模型、数据、规则和系统能力不断优化。

看点四：从单点质量保障走向平台化能力

张超分享中提到的“数据×能力×效率”三引擎联动，体现了AI评测平台建设中的一个重要方向：评测不只是执行任务，而是要让数据沉淀下来，让评判能力逐步增强，让业务使用门槛不断降低。这也是AI评测从项目实践走向平台能力的关键一步。

AI评测质量工程的核心价值

对于正在推进AI应用落地的团队来说，AI评测质量工程至少有四个方面的价值。

1. 提升评测效率

通过更加规范化、自动化、平台化的方式，降低重复评测成本，提高AI应用迭代过程中的验证效率。

2. 保障结果质量

通过更清晰的评测标准和更完整的评判机制，帮助团队识别AI应用中的准确性、稳定性、合规性和业务适配问题。

3. 支撑规模扩展

当AI应用从单一场景扩展到多个业务场景时，评测能力必须具备可复用、可扩展、可管理的特征。

4. 推动持续进化

评测结果不仅是验收依据，也可以成为后续优化模型、Prompt、知识库和业务规则的重要输入。

从AI评测看质量工程的新变化

AI时代的质量工程，正在发生明显变化。过去，质量更多关注“软件是否按预期工作”；现在，质量还要进一步关注“智能系统是否可信工作”。过去，测试更多发生在研发交付流程中；现在，评测需要贯穿AI应用从构建、上线到持续运营的全过程。过去，质量体系依赖规则、流程和工具；现在，质量体系还需要融合数据、模型、知识和反馈闭环。

这意味着，未来质量团队的能力边界会继续扩大。测试人员不只要理解业务和系统，还要理解AI应用的评测方式、数据质量、模型表现、知识库效果和智能体行为。这也是本届TID质量竞争大会关注AI评测质量工程的重要原因。

为什么推荐关注这场分享？

张超的《AI评测质量工程进化》，不是单纯讨论AI评测概念，而是从工程效能和质量保障视角，观察AI应用进入真实业务后的质量挑战。

对于以下几类人群，这场分享都值得关注：

• 关注AI测试和AI评测的质量团队
• 正在建设大模型应用平台的研发团队
• 希望提升AI应用稳定性和可信度的业务团队
• 正在探索质量工程智能化升级的管理者
• 关注研发效能、平台工程和工程治理的技术负责人

AI评测不会只是一个短期热点，而会成为AI应用规模化落地过程中不可绕开的基础能力。当AI应用越来越多地进入业务系统，质量工程也必须随之进化。

在TID质量竞争大会现场，腾讯PCG工程效能专家张超将围绕AI评测质量工程进化展开分享，带来来自真实业务场景的观察、思考与实践经验。AI时代的质量竞争，已经不只是测试效率的竞争，更是评测体系、工程平台、数据资产和持续演进能力的竞争。