ch5 数据应用

ch5 数据应用 ch5 数据应用 A/B测试

上个月刚好看过胖里分享巡山猫的AB测试公众号推文，两部分可以互相补充。

七个步骤建立A/B测试的闭环

第一步：A/B测试策略制定

使用ICE模型打分，E(effort)指实现上线测试的策略所需的成本。将三个所有备选策略，通过多人根据三个因子打分，选择分数最高的几个进行A/B测试。本书提供了ICE打分模型。

第二步：测试目标（评估指标）选择

选择最直接的指标，比如两个海报的点击率，当然，同时也要关注核心业务目标，比如，转化率

预估实验样本和试验周期：书中提供的样本计算器链接：https://www.abtasty.com/sample-size-calculator/

第三步：科学分流

此处要注意不同“桶”的人群特征是均匀分布的

第四步：A/A测试

一方面及时发现用户分流的问题；另一方面，排除用户属性干扰，确保实验差异仅由变量造成

第五步：策略投放

第六步：诗句监控

第七步：策略结果分析与执行

产品迭代

产品迭代8个步骤

产品需求收集、分析和评估产品定义交互和视觉设计技术评审研发测试上线跟踪数据及总结

评估产品迭代效果

PULSE模型

pageview – 页面浏览量uptime – 响应时间latency – 延迟seven days active user – 7天活跃用户数earning – 收益

HEART模型

happiness – 用户满意度，通常用nps调研文件完成engagement – 用户活跃度和参与度。指标：使用频次、深度访问adoption – 用户接受产品各个版本、各个功能的情况。各版本占比？但是我觉得多数人升级后，不会再刻意降级产品retention – 产品的留存task success – 关键任务的完成情况

关注的六个要素

改版前后的比较绝对指标和相对指标趋势关键路径转化率功能和其他主要功能的使用占比错误率功能留存

书中配有案例，主要是app首页迭代，事实上，根据不同的改进，分析的点有所不同。首页改版分析包含了首页吸引力和首页导流能力的分析

精细化运营

精细化运营的关键

精细化运营的本质是使标准化达到颗粒度足够细，通过洞察不同人群的标准，提供超出基础需求的产品和服务。

这个过程中，主要描绘三种运营对象：人、产品或服务和时间节点（这个很像”场“的概念）

规划用户行为的两个阶段

明确用户全生命周期描述用户状态

用户标签和用户画像

用户标签组合形成用户画像，用户画像聚类形成用户分群

在原始数据基础上，根据数据提取和开发的优先级角度来看，用户标签主要分三层：事实标签、模型标签和预测标签

用户分层运营

常见用户分层模型

RFM模型

其实这是一个思路，可以降维形成四个类别分层

FRM模型中，分档规则的选择容易出错，往往选择指标的平均数，从而忽略了整体的分布和几何极值的营销。常见的两个方式是：专家经验法和参数配置法（这个就是灵活配置的意思）

基于传统用户生命周期的分层模型

根据用户从下载-使用-消费-卸载等使用流程进行价值阶段的分层

基于AARRR用户增长的分层模型

其他：AIPL模型（认知awareness - 兴趣interest - 购买purchase - 忠诚loyalty）、金字塔模型（新激活用户、普通用户、付费用户、活跃用户、分析用户）、用户养成模型（接触、认知、体验、使用、习惯、上瘾）

对模型的掌握不在于数量，而在于对其底层逻辑的理解和演绎。如从FRM到FRA，从monetary到action，可以使用于内容、社交的APP。书中这里的扩展给我的启发也比较大，包括前面提到的FRM可以降维。

机器学习

书中介绍了一般机器学习的步骤，但是具体步骤没有过多介绍，最后的例子从过程到结论有些许跳跃。我曾将也见过聚类+FRM分层，最后的结果只是多了模型的验证和一个确切的数字，而那些特征是比较”常见的“。

书中也提示了特征工程的重要性，但是没有更多的介绍思考方向，我再曾经的比赛中，匿名特征的情况下，直接进行特征暴力交叉，auc有了明显的提升。但是在我目前的实习工作中，不涉及通过机器学习解决问题，多元回归都基本不用。