前言

这个月Boss需要我们整理一份各个性能采集后的参考值,对于崩溃的数据采集,我们接入有Bugly,友盟。对于性能采集我们接入的是Firebase Performace

591的性能指标

指标说明

日报使用:崩溃率(友盟最新版)、启动时间(Performance)

统计使用:崩溃率(友盟最新版)、用户崩溃率(友盟最新版)、ANR率/卡顿率(bugly最新版)、启动时间(Performance)、網路呼叫成功率(Performance)

崩溃率的定义:友盟比较符合大多数人的理解

参考值的定义:崩溃率和启动时间,虽然有找到一些参考值,不过对比之后显示我们的数据非常好(原因是平台统计数据为业内平均值),所以我们依据591近期的数据和自我要求,定义了一个参考值(如上日报)

其它:用户崩溃率、ANR率/卡顿率、網路呼叫成功率,对于App的性能评估也有一定的作用,不过日报里面建议先不添加,避免太多内容

App性能指标定义

平台 名称 计算方式 描述
友盟 崩溃率/错误率 崩溃次数/启动次数 1.崩溃次数/错误次数:
该类错误在一定时间范围内产生的次数,也就是SDK上报的日志数量
2.启动次数:
1).Android:启动是通过在所有activity中调用MobclickAgent.onResume() 和MobclickAgent.onPause()方法来监测的
2).iOS:进入后台即算是当前统计会话结束。当再次进入前台时,算作一次新的启动行为,
并开始新的统计会话
用户崩溃率 影响用户/活跃用户 1.影响用户数:在一定时间范围内对该类错误的所有错误日志按照设备维度进行排重计数
2.活跃用户:所选时间段内,启动过应用的用户(去重),启动过一次的用户即被视为活跃用户,包括新用户和老用户。
Bugly 次数崩溃率 发生次数/联网次数 1.发生次数:一个异常发生且被记录上报,计为一次异常发生。
2.联网次数:即 启动次数+跨天联网次数。
3.跨天联网:用户没有启动应用,只有应用进程在后台运行,且超过零点,计为一次跨天联网。
4.启动次数:以下场景均计为一次启动
1).应用完全退出后重新启动,计为一次启动;
2).应用被切换至后台后,30秒后被切换至前台,计为一次启动,若未超过30秒切换至前台,不算一次启动。
用户崩溃率 影响用户/活跃用户 1.影响用户数:在一定时间范围内对该类错误的所有错误日志按照设备维度进行排重计数
2.活跃用户:所选时间段内,启动过应用的用户(去重),启动过一次的用户即被视为活跃用户,包括新用户和老用户。
次数ANR率/卡顿率 发生次数/联网次数 同上次数崩溃率描述
用户ANR率/卡顿率 影响用户/联网用户 同上用户崩溃率描述
Performace 启动时间 從程式碼初始化 - 使用者介面有所回應為止 定义
1.iOS:在应用将第一个 Object 加载到内存时开始,第一个 run loop 成功(应用收到 UIApplicationDidBecomeActiveNotification 通知后)时停止。
2.Android:在应用的 FirebasePerfProvider ContentProvider 完成其 onCreate 方法时开始,第一个 Activity 的 onResume() 方法被调用时停止。
網路呼叫成功率 成功响应次数/总响应次数 由傳回 2xx 或 3xx 回應代碼的應用程式提出的 HTTP/S 要求百分比。如需查看詳細資訊,請前往「網路要求」分頁
GooglePlay 當機率 使用者遇到至少1次當機情形的每日工作階段百分比。每日工作階段是指使用者一天內使用應用程式的時間
ANR 发生率 使用者遇到至少 1 次 ANR 情形的每日工作階段百分比。每日工作階段是指使用者一天內使用應用程式的時間。
App Store Connect 崩溃率 崩溃次数/使用次数 目前appstore 统计是限参与统计用户
计算方式是 = 崩溃次数/使用次数 (使用次数:使用时间超过2s的次数)附:仅限参与统计用户

App性能指标业内参考值

名称 业内参考值
iOS Android 数据来源
崩溃率 1.01% 0.2% 听云16年报告 - 年平均崩溃率
0.93% 0.13% 听云15年报告 - 年平均崩溃率
0.78% 1.89% 听云17年报告 - 房产中介 - 年平均崩溃率
0.79% 0.17% 听云17年报告 - 工具 - 年平均崩溃率
0.38% 0.09% 听云16年报告 - 软件工具 - 年平均崩溃率
优秀值0.3%
标准值0.8%
优秀值0.2%
标准值0.4%
来自14年的听云报告
根据统计数据显示,当iOS的崩溃率超过0.8%,Android的崩溃率超过0.4%的时候,活跃用户有明显下降态势。
2.96% 2.86% bugly2016 移动应用质量大数据报告-平均崩溃率
优秀:0.03% 一些开发群中开发者的回复(滴滴,美团)
ANR率/卡顿率 - 1.09% GooglePlay的不良行为门槛
用户ANR率 - 0.47% GooglePlay的不良行为门槛
启动时间 5s Performance标准值
網路呼叫成功率 97.45% 95.48% 听云17年报告 - 年平均 HTTP 请求成功率
响应时间 417.99ms 439.65ms 听云17年报告 - 房产中介 - 年平均响应时间
652.69ms 617.19ms 听云17年报告 - 工具 - 年平均响应时间

参考链接

友盟定义参考

Bugly定义参考

Preformace

听云