扫码阅读
手机扫码阅读

聊聊竞品体验对比评测(上)

69 2024-01-12

这是鼎叔的第九篇原创文章。

行业大牛和刚毕业的小白,都可以进来聊聊。

鼎叔在MTSC-中国移动互联网测试开发大会,以及深圳敏捷之旅中,分享了《提升用户体验的评测方案》议题,本文是相关系列主题文章的第五篇。

针对市场竞争激烈的产品,相对于测试缺陷情况,高级管理者往往更关心产品的核心体验竞争力如何,差距在哪里。测试通过可测性分析得到了一系列用户体验有关的客观指标。那如何给出竞品对比的评测结论和改进建议呢?

相关文章请看:聊聊测试团队在NPS变革中可以做什么聊聊用户体验与常规缺陷的异同

第一节 KANO模型

KANO模型是对用户体验进行分类和排序的知名质量度量模型,体现了产品指标和用户满意之间的非线性关系,产品服务的质量特性可以分为五类:

  • 必备质量- Must-be Quality 理所当然的需求,必须满足,比如网络连通率,通话信号正常,APP稳定不崩溃,视频画面流畅度,待机时间足够长等。

  • 期望质量- One-dimensional Quality 用户满意度和该质量满足的程度成正比。企业在这块应该力争超过竞争对手。比如客户投诉解决满意度,搜索结果命中率等等。

  • 魅力质量- Attractive Quality 不会被用户过分期望的需求,但随着满足顾客期望程度的增加,顾客满意度急剧上升,产生惊喜感,提高了忠诚度。如免费增值服务,减免常规费用(免邮费,手续费),惊喜礼物,VIP服务等。

  • 无差异质量- Indifferent Quality 不论提供与否,对用户体验无影响,如与用户需求无关的赠品,优惠券等等。

  • 逆向质量- Reverse Quality 会引起强烈不满或低水平满意的质量特性,因为并非所有消费者都有相似喜好。比如科技产品有一些进阶功能对普通用户完全用不到,反而增加了界面复杂性。


基于该模型进行用户满意度的改进策略就很清晰了:全力以赴保障必备质量,尽力去满足顾客的期望质量,争取实现顾客的魅力质量(培养忠实用户)。

一句话总结:必备质量不能有问题,期望质量不能有短板,魅力质量长板足够长,无差异质量不付出额外成本。

从竞品对比评测的方案来看上述策略,思路就是:

  1. 对必备指标例行监控评测,及时优化(见第二节);

  2. 对期望指标进行专项竞品对比分析,找准对比场景和指标,最好自动化实现(见第三,四节);

  3. 对魅力指标以探索挖掘活动为主,提供创新体验建议(见第五节)。


第二节 竞品对比测试核心指标设计

相对于只测试自身产品的体验指标,竞品对比测试更容易激发开发团队自我改进的斗志,管理者也能够了解差距,给予大力支持。但其前提,是竞品对比的指标要客观,结论清晰,查看差距很方便。

理解了上述KANO模型,我们就可以设计竞品对比测试指标方案。

锁定竞争对手产品:可以和业务/开发负责人商讨确定,可以包括同领域内行业领先的对手产品(参考市场占有率和技术品质口碑),也可以包括头部平台产品的相对标功能专区。

明确必备指标:通常是基础体验的性能指标,针对APP而言,常见的通用指标有:APP启动率,crash率,ANR率,核心页面流畅率,核心页面加载完成时间,核心操作的CPU和内存占用大小,内存泄漏等等。

另外,针对不同性质的产品门类,也有个性化的必备指标,比如手机清理软件,必备质量有“手机空间扫描耗时”和“清理垃圾完成耗时”,对于手机安全软件,必备质量有“完成安全扫描耗时”。

必备指标不一定要和竞品做对比,可以参考行业高标准设置客观达标值即可,例如,行业认为,正常网络链接下一个页面完成加载耗时在2秒以内就是一个优良体验,那我们可以把2秒作为标准,看看一天的定时拨测中,有多少比率能达标,确认可改进的空间。

明确期望指标(卖点指标):期望指标往往和竞品表现是强相关的,还是以网页打开速度为例,如果只是特定热门页面,打开速度是必备质量要求,但是对于浏览器可以访问的海量页面,在不同的网络环境,必然存在很多页面加载的时候体验是比较差的,所以对于“热门网站不同环境下的快速加载耗时”可以成为浏览器的期望指标,而且要和竞品对比,锁定相当数量的测试网页,才能整体上判断这个能力是什么水平。

同理,对于手机清理软件一次清理垃圾释放出的空间大小,就是用户的期望指标,这是清理类软件的核心卖点,不同竞品之间会PK,做精细化处理,才能最大程度上清理出垃圾空间(且不能误清理有用数据)。

对于安全软件,期望质量可以是“查杀出了多少数量/种类的恶意软件和病毒”,这块也是竞品之间的技术较量场。

明确魅力指标(WOW指标): 这类指标往往可遇不可求,对于竞争激烈的领域,找到WOW指标很难,对于创新领域的先行者,找WOW指标相对好找一点。但是,如果某一个卖点功能通过细心打磨,远远超出竞品水准,就可以成为一个WOW指标;反之,彼此差距不大,市场已充分了解,那就更适合作为期望指标。

比如,浏览器打开文件的功能,如果对市面上各类文件格式(包括一些不常见的格式),打开能力和阅览稳定性远远超过对手,就可以成为魅力指标。

建立竞品对比测试计划和报表: 通过业务团队的协商,在精力有限的情况下,从上述指标中锁定值得长期对比的竞品评测指标,通过持续发布结果,锁定差距最大的指标表现,持续改进,经过一段时期的改善,通常能看到明显的相对提升效果。

为了保障竞品对比指标能形成趋势(自身趋势和竞品对比趋势),便于观察效果,且降低大量人工处理成本,因此应尽量做成自动化测试,可视化展示指标,如图所示:

对于短期可挖掘的指标,可以做一期专项测试分析,无需做成自动化。

自动化测试,如涉及到竞品指标的获取,如何实现?正常的侵入式测试手段是无法获得竞品指标结果的(如白盒测试,日志埋点等),下一篇文章会提供两个实践案例给大家参考。

大家可以看到,自动化性能测试,并不只是局限于自嗨的测试指标,而是一切从用户真实诉求出发,寻找最具可比性的核心价值,这种自动化才真正有高性价比。

原文链接: http://mp.weixin.qq.com/s?__biz=MzkzMzI3NDYzNw==&mid=2247483743&idx=1&sn=4be996e57b0496c76720ab6fe1c7db96&chksm=c24fb43df5383d2b76201b99ba5f5429277f6427ab6de4bc0c2e40db03b3b3436c46b48802a3#rd

《无测试组织-测试团队的敏捷转型》主题探讨。从打造测试的组织敏捷,到敏捷测试技术的丰富实践,从一线团队的视角来聊聊我们是怎么做的。面向未来,拥抱敏捷原则,走向高效能组织。

81 篇文章
浏览 4629
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设 白皮书上线