扫码阅读
手机扫码阅读

聊聊竞品体验对比评测(下)

81 2024-01-12

这是鼎叔的第十篇原创文章。

行业大牛和刚毕业的小白,都可以进来聊聊。

鼎叔在MTSC-中国移动互联网测试开发大会,以及深圳敏捷之旅中,分享了《提升用户体验的评测方案》议题,本文是相关系列主题文章的第六篇。

本文继续聊聊竞品体验对比测试实战的三个真实案例。

第三节 案例-手机浏览器页面加载速度

手机浏览器的页面加载速度测试:针对TOP热门网站,能否在不同网络,不同地域,不同时间段,能否都达到良好访问体验?和竞品比起来差距如何?

内部埋点方式成本很低,但是不适合做竞品对比。

页面是否加载完成,从人眼的角度是要页面渲染结束为止,因此从UI角度测试是最直接的。但是普通UI断言脚本的编写和维护成本比较高,我们可以尝试更高效的低成本对比方案-- 利用高速摄像头和OCR识别算法

测试流程:固定高速摄像头,对准手机屏幕,打开浏览器,自动输入URL和点击“前往”,执行测试获取时间,完成日志抓包后,恢复环境。

选取高速摄像头的标准:需成像质量高,帧率高,容易稳定控制。拍摄时对焦清晰,固定好距离,可以用遮光纸板屏蔽环境光的干扰。如图所示:


控制录像开始和结束:可以获取摄像头(罗技摄像头)软件句柄,按相对坐标点击。

录制视频的分帧工具:选用FFmpeg,要求是能按毫秒命名,快速,录制尺寸小,不失真,可自动处理。

找准页面加载开始时间:打开手机的轨迹显示,视频分帧中出现第一张触摸白点时,开始计时。

找准页面加载结束时间

1 出现首文字加载的时间,只要白屏的饱和度大于0,表示首字符出现,因为页面首先出现的内容是不确定的,所以可以利用图片饱和度算法来判断何时出现首文字或图片。

2 完成首屏加载的时间,可以用感知哈希算法,图像特征可以生成指纹,HASH不同,数据/图片也不同。用待识别图片和标准加载完成图片做快速特征对比。

处理测试数据:将不同城市,不同网络(5G,4G,3G,不同运营商),不同时间段,不同竞品的测试结果入库保存,注意每次测试连续测10遍,去掉毛刺数据,获得平均时间。

展示测试结果,关注改进趋势: 展示竞品对比的报表,数据曲线,可以按照日期,产品版本,测试站点等维度打开对比,方便开发分析问题。

通过长时间的对比差距和死磕,在核心指标评分上,仅仅半年,我们的产品加载速度就从低于对手30%,优化到和对手持平;再过3个月的改进,各项指标显著超越对手!

第四节 案例-地图导航APP

作为一个地图导航软件,用户体验的期望指标是什么?

  • 路线规划正确,省路/省时间

  • 语音播报时机合适,正确,简洁

基于真实路况的LBS应用,从用户角度验收的成本是非常高的,人工在外面路测,还需要车辆支持,更何况路线规划算法非常复杂,数据极其庞大。那测试团队该怎么做,才能真正推动用户体验的改进,推动开发不断完善算法呢?

还是从上述的核心指标出发,设置竞品对比评测方案:

  1. 先从最热门的路线规划中得到测评路径,当然,真实的线上数据就是我们的抓手:目前产品的热门城市是哪里(通常是北上广深),最热的路线query是什么,选取TOP100或者1000.

  2. 强大的竞争对手是哪几个?通常他们有服务SDK,可以直接接入调用,获得路线导航路线,以及关键结果数据。

  3. 通过自动化脚本对比,如果我们的导航APP,和几个竞品比起来,明显好于对手,或者明显差于对手,就把多方的路线结果截图,展示在自建的评测网站上,人工横向对比,非常方便。

  4. 人工对比看我们的路线是不是真的太长了?如果确实不如几个竞品,打上“bad case”标签,转发给开发进行优化。 如果我们的路线比对手都短,不要着急下结论,先人工检查是否有异常阻断(如修路,塞车,小区内部道路不可走,有关闭的大门等等),有的话结果也是bad case。

  5. 最终,开发根据我们提供的数据做了算法优化,在下个版本发布后,对所有的badcase,goodcase进行回顾,给出评价结论,优化目标是否达成。

  6. 我们还可以引入出租车用户的路线轨迹进行优化结果对照,因为通常出租车司机更为专业,熟悉路线。

语音播报,也可以建设类似的语音播报对比平台。

我们可以用手机模拟回放路线的GPS位置,记录下播报的位置,时间和播报内容,再做竞品对比评测(人工介入判断是否bad case):

准确度:遇到复杂路线-如三岔口,环形路口,立交桥等,怎么行驶?

全面性:播报的关键提示信息是否齐全?

简洁性:播报的字数是否冗长?

播放时机:是否及时,有充分的操作时间,但又不会过于提前播报?

可以结合街景地图的回看,验证播报质量是否达标。

当然,随着众包平台的普及,也可以在众包上定向分发评测任务(根据用户的不同地理位置),让用户反馈导航异常结果,或者反馈与竞品有差距的导航结果。

第五节 竞品体验对比评测专题报告

竞品评测指标的持续报告,相对而言可读性和趣味性不高,考虑到用户体验需要站在用户视角上耐心挖掘思考,我们可以开展更加深入的“沉浸式”的用户体验活动:策划出品专题体验报告

虽然在多数情况,产品经理/设计师会组织相关的竞品体验活动/脑暴,但是测试团队参与或者组织这类活动,有自己的关注点--找出客观的体验场景和质量指标维度,在未来的测试中提升敏锐度,而对产品设计的创意高低不去妄加评价。专业的体验对比报告也能给产品/业务团队以积极的输入,践行以体验为中心的企业文化。

因为是以一线竞品为对比角度,给出的建议更有针对性,度量目标更明确,也更容易被团队接受。

推荐的报告策划和执行步骤如下:

一,聚焦要对比的产品和功能领域,即专题视角。通常是用户焦点,投诉比较多的,或者关注者众的价值区域,也可以是代表未来产品发展的可能方向,但是还在探索之中。

我们这次的例子,就选用理财产品的社交化,作为专题领域。

二,挑选竞品,可以是同类属性的排名靠前理财产品,也可以是大平台的理财频道(业务模式相近),或者是在本次专题领域有突出口碑的产品。

三, 集体策划(脑暴):安排一个安静的空间,一个集中的探索时间,安装好我方软件和竞品软件,进行沉浸体验,然后给出评价,集体探讨达成一致结论(如果结论比较多,投票出最关键的结论/措施)。在报告中用表格列出:竞品分析的具体场景,对比维度,对比截图和数据,从用户角度分析理由。

四,在对业务方发布的竞品对比评测报告中,建议结论先行,抛出测试方的评测结论(有赞有弹),最关键的优化建议是什么。注意给的建议一定是基于用户体验诉求,抓住可度量对比,尽量不加入个人主观好恶。

五,对于上述报告的分析和总结内容,得到参与成员的确认,并通过大家进一步的思考(意犹未尽),把希望更深入探索的对比指标/方向,纳入到下一期的竞品对比专题中,形成对比体验的系列报告。产品体验的创新改进之路,本质上就是探索出来的。

如下图,是理财产品社交化竞品对比体验报告的总结部分示例:

原文链接: http://mp.weixin.qq.com/s?__biz=MzkzMzI3NDYzNw==&mid=2247483752&idx=1&sn=0f0b0c980b8eddecc9acb837a7292729&chksm=c24fb40af5383d1c48e3e21f3e73d90612e91e3d1d091f1435e44987ab40acbbccfd893ce3d9#rd

《无测试组织-测试团队的敏捷转型》主题探讨。从打造测试的组织敏捷,到敏捷测试技术的丰富实践,从一线团队的视角来聊聊我们是怎么做的。面向未来,拥抱敏捷原则,走向高效能组织。

81 篇文章
浏览 5347
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设 白皮书上线