为什么团队用了 AI 之后,测试质量反而下降了!
版权声明
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
测试开发技术
扫码关注公众号
扫码阅读
手机扫码阅读
文章主旨:
作者认为,AI提效后质量先崩并非AI本身之过,而在用法与业务适配;AI把生成成本打到接近零,但验证成本未降,测试人应把AI产出当草稿并强化质检,做到“AI负责快,你负责对”。
关键要点:
- 现象与数据:有团队用AI提效半年后测试团队反而增加23%;作者实测AI生成的261条用例中,评审后可直接使用的仅26.4%,一半以上需人工修改,约两成错误。
- 根因判断:AI降低的是“生成”成本,“验证”成本并未下降;AI错误常是幻觉且表达自信,与人的错误不同,更消耗测试。
- 责任归属:质量下降核心在“用法”和“业务”,不在AI能力本身;会用者拆需求、喂上下文、先改再验,不会用者整篇丢入并把产出当成品。
- 业务边界:增删改查、表单流程、标准后台等成熟场景AI质量可打;金融计费、库存扣减、订单状态流转及老系统隐藏规则依赖老员工知识,AI难以理解。
- 建议与结论:把AI当新人带、产出当草稿、质检标准化、错误沉淀为回归用例、复杂业务留一手;生成越便宜,验证越值钱。
内容结构:
一、AI提效之后,往往先崩的是质量
- 以同行复盘“AI提效半年后,我们的测试团队规模反而更大了”切入:提测质量下滑、需求做漏、单位时间bug变多,测试团队加23%仍喊不够用。
- 群聊观察:开发讲不清AI提上来的代码;产品用AI写需求、开发用AI总结需求、再用AI写代码,形成“全程无人知晓”的链路。
- 作者实测:用电商项目需求让AI批量生成用例,效率很高,但261条评审后可直接用的仅26.4%;一半以上需人工改,两成错误。错误示例包括“页面展示正确”、提示信息为空引号、标题说测A功能而步骤跑B等,呈现“好像都对”的脸。
- 核心判断:引用原文“AI把‘生成’的成本打到了接近零,但‘验证’的成本,一分钱没降”;AI错误是幻觉、自信编造,人的错误会心虚,AI错误永远理直气壮,因而更消耗测试。
二、锅不在AI,在用法和业务
- 作者明确不批判AI,认为质量下降核心原因一是用法,二是业务。
- 用法差异:会用的同学把需求拆成小块,交代团队历史坑、业务规则、边界条件,产出先过一遍、改完再验;不会用的同学整篇需求原封不动丢入,出来什么用什么,把AI产出直接当成品,未意识到AI是在用通用知识猜业务。
- 业务差异:增删改查、表单流程、标准后台等套路固定、模式成熟的场景,AI交付质量能打;业务一复杂,如几百个开关的管理后台、金融计费、库存扣减、订单状态流转及十年老系统中的隐藏规则,知识不在AI脑中,而在老员工脑中。
- 推论:同一个AI,有人用出五倍提效,有人用出一堆线上事故,差别在用法和塞进的业务;提效省下的时间本应有一大块花在验证上,省掉的部分会变成bug连本带利还回来。
- 类比:十几年前自动化测试刚铺开时,把手工用例翻译成脚本、绿灯收工,后来脚本维护不过来变成“没人敢信的遗产”;说明“自动化的是执行,思考从来没有被自动化过”。AI时代只是同一部电影换演员。生成越便宜,验证越值钱,团队最稀缺的是能拍板“这玩意到底对不对”的人。
三、给用AI提效的测试同学,几条实在建议
- 把AI当新人带,上下文喂到位:别整篇需求一把梭,拆成小块、一次干一件事,白纸黑字喂业务规则、历史坑点、字段约束、上线红线;喂得越多,它猜得越少。
- 把AI产出当草稿,用不用决策留给人:哪怕一次做对九成,最后一成也要亲手过;过这最后一成的成本,本来就是岗位价值所在。
- 产出进流程前必须过一道质检:用例、脚本都不能省;质检要标准化,用维度、指标、checklist,让验收有据可查。
- 让AI干真正擅长的活:除用例生成外,可用于解读老系统、梳理祖传代码、批量造测试数据、归因失败日志、整理散落业务规则;进阶玩法是先挖出老系统隐性知识,再喂回去生成用例。
- 把AI犯过的错沉淀成回归用例:它编过不存在的字段,下次就拿这个考它;错题本越厚,它在该业务上越老实。
- 复杂业务留一手,简单业务放手跑:增删改查等标准场景可放心交给AI并抽查;计费、扣减、状态流转等高风险路径,AI出初稿,关键分支必须人肉再走一遍。结论是“AI负责快,你负责对”,两者结合才可能真正提效。
文章总结:
全文以“AI提效后质量先崩”为警示,建议测试团队把AI定位为提效工具而非决策者,以标准化质检和人机分工守住验证底线。
测试开发技术
测试开发技术
扫码关注公众号
没有了
上一篇
公司从零开始推自动化测试,如何落地?
下一篇