2018年,中国移动通信互联网技术用户增长放缓,上半年仅增长2万人。
但是,有一匹黑马,在这样的极端条件下逆水行舟。
今日头条显示,个人app用户的应用时长占比从3.9%激增至10.1%,增长了1.6倍。超越百度搜索部,阿里集团总申请时间排名第二。
更何况,头条产品的高速增长速度依然不变。仅今日头条新闻App每天还在增加100万。
头条号系统如何保证这类“无良”用户的提升,背后其实有一些并非基于认知能力的秘密。
今日头条会自主创新(或抄袭)蛋品,为每个产品设定生死线(RIO)。超越生死线的产品,可以借助头条站内的总流量,快速使其成为千万级日活。
今日头条入驻近60种商品。
今日头条有非常强大的数据视频监控系统(付出一定代价购买数据),所有商品的日常活跃度和数据提升都会在他们的监管之下。
此外,为了更好地帮助提高产品创新的通过率,今日头条甚至产品都开发了一套改进模块。在我们还在为功能键的排列发愁的时候,他们会在进行几十次甚至上百次的A/B测试,帮助产品运营和管理人员找到最佳方案。
今日头条强大的生死线和数据视频监控系统无法效仿,他们的改进模块暂时无法开发。但是有了有助于选择最佳方案的A/B测试,大家还是可以进行模仿学习和训练的。
虽然A/B测试曾经被广泛应用于商品行业,但它可以用来区分功能的价值。其实A/B测试早已渗透到业务中。有一天,微信微信官方账号可以发布小总流量打开率的测试功能。估计你会乐坏了它!
什么是A/B测试
A/B测试,也称为控制测试和任意测试。简单来说,就是为了同一个总体目标设计方案A和方案B,让一部分用户可以应用方案A,一部分用户可以应用方案B,记录用户的应用状态,根据用户的反馈,哪个方案更好。
不要以为这里的“A/B测试”确实总有A计划和B计划,“A/B测试”只是一个潜意识的名字。你应该可以有C、D、E多种方案来测试。
看完定义,你大概会觉得“A/B测试”的定义早就变质了。明确提出多种方案,然后选择哪一种实际效果最好,是不是很不方便?
其实基础理论说起来很简单,但是具体做起来需要很多方法。先来看看吧。今日头条是如何进行A/B测试的?
今日头条的今日头条有“双头条”的功能,其实是一次A/B测试的实践活动。
也许你可以说,这不就是为了更好的让用户有更广阔的开放空间空?一个内容可以有两个标题,然后一个标题废了,还有一个支持。不像微信公众平台只有一个标题。一旦题目报废,大部分阅读量就没救了。
其实今日头条设置“双头条”功能是为了更好的更准确的掌握用户对头条的反馈,进而掌握用户的个人行为数据。
自然,今日头条在A/B测试中最厉害的玩法非“双冠王”效应莫属。由于只考头条,“标题党”就会横行。所以今日头条A/B有一套“动态”的内容推荐系统。这里的“动态”是指根据反馈结果自动更新和调整。
这种“动态”的内容强推荐系统是如何运作的?
同样的方案,今日头条会先强烈推荐给小类别的群体:
比如100个人,如果这100个人对标题和内容的反馈都非常好,那么就把方案强烈推荐给更大的群体,比如500人。如果这500人对标题和内容的反馈非常好,那么就强烈推荐给更大的群体,比如2000人,以此类推。
将收集用户的个人行为姿态。根据《今日头条推荐系统原理》的详细介绍,大部分每小时都能看到用户对内容的反馈。但由于数据每小时都有波动,今日头条一般以当天为时间范围来查询用户的个人行为数据。
在收集到用户的个人行为姿态后,今日头条会展示系统日志解决方案,分布式系统统计分析,加载到数据库中。
今日头条系统软件可以自动生成:测试数据对比、测试数据置信度、测试结果汇总、测试推广建议书。
从那个角度来说,你是不是觉得A/B测试的杀伤力真的很强?不仅完成了节目调查,还能根据测试把握用户口味,强力推荐精细化管理内容,更能吸引用户。
A/B测试的应用
有可能你能感觉到A/B测试只有大企业才能享受,和所有人无关。很可能你也会觉得这只是商品的问题,与大家的生意无关。
那你的误会就更大了。不仅小游戏玩家可以玩,而且和大家的生意也有很大关系。如果你是一个可以提升的经营者,你很可能会成为大家企业的老板。
举个例子:
以前我们邀请了一个“深夜做爱”的小编阿福,让我们分享微课。但是到了微课,肯定是要对微课的海报进行打磨的,这样才能提高宣传策划的实际效果。
所以我们请我们公司的设计总监做了一个版本。结果我们出门的时候,杂志的美女姐姐们都辩称自己的建议不符合要求。
一个认为“如何写出用户喜欢的营销软文”的主题风格不吸引人,应该改成“写出用户喜欢的营销软文的10个小技巧”。
也有一个人赞同,但应该进一步推广,改成“10笔写成让用户疯狂的转换创意文案”。
这时候贤哥很机敏的说,你不会做3版海报吗?同一时间只能分享一张小宝贝海报(所有小宝贝海报都有5000个好友),最好测试一下哪个版本实际有效。
当时大家都没有想到。其实这就是A/B测试的逻辑思维。
之后大家贯彻了贤哥的想法,测试了三张海报的分享率(分享海报用户/增加用户)。分别为:30%,35%,44%。实际效果最好的一个是:10笔写成用户发疯的转化创意文案。
接下来我们启动了所有的小宝贝号,企业全体员工分享海报,最终吸引了3000人来听课,这也是微课现阶段最有效的分享。
除了微课的应用,A/B测试还可以应用在很多领域。
比如App的推送可以做A/B测试。如果你是饿了么,外卖是为了测试不同的营销活动对于用户留存的效果如何,于是出现了以下场景。
昨天小松子笑着告诉我,她在饿的时候,已经给她发了一条信息:“这里有一张15元超大优惠券要领”,才发现是“15减40”。即便如此,她还是设法一起拍了很多东西。
根据以往的工作经验,如果饿了,外卖喜欢在大家吃饭前推送消息。于是看了看自己的饿了么外卖消息推送:“订单信息满45可获七五折”。乍一看,没什么爱好,起点那么高。
其实这是外卖商家让我们做的A/B测试。
根据这个测试,按照订单的信息率,他们可以发现全部都是特价15元(前提是都花了40人民币)。马上突出显示数据“特价15元”比“满40减15”好多了。
总之,根据A/B测试,我们确实可以尝试出最佳的改进方法。除了App的消息推送和微课的主题风格,还有很多场景是A/B可以测试的,比如付费广告、应用商城、登陆页面、新用户的正确引导步骤等。
A/B考试很容易踩坑
A/B考试看似简单,其实隐藏着很多绊脚石。如果不重视,实验结果就会偏离科研轨道。
1)忽略测试自然环境的差异
如果有一天微信官方账号开发的职称A/B测试真的起作用了,你可以用以下哪个方案来测试你的职称?
A.把苏州的用户分成3组,同时,每条消息推送3个不同的标题。
b、把苏州的用户分成三组,在不同的时间点,由他们各自的消息推送三个不同的标题。
如果真的要选择B计划,恭喜你翻车!
举个不恰当的例子,B计划的测试方法就像电视上打广告一样,各自选择工作日的3点和晚上的黄金时段进行测试采集。
因为测试的自然环境依次不同,受众也不同,最终实验后的数据结果必然会有一些误差,更没有说服力。
2)很容易“用全概率偏向”
如果测试结果没有主要表现出理想化条件下的数据提升,如果马上放弃,可能会再次踩坑。
短租平台,搜索是Airbnb生态系统的基础组成部分。Airbnb之前对搜索页面的改进做了A/B测试,新版本号更注重列出的照片和房子的位置(如下图)。
等了很久,实验数据显示新老版本的整体数据是一样的,好像推广没有太好的实际效果。
这时候如果Airbnb立刻放弃基于整体数据的推广,那么这个耗费了大量动态设计方案的新项目就功亏一篑了。
相反,经过仔细的科学研究,他们发现除了IE之外,新版本在其他不同电脑浏览器中的主要性能都非常好。在意识到新的设计方案阻碍了应用旧版本IE的实际 *** 作(并且这种明显的全局结果导致了非常压抑的伤害)后,Airbnb立即进行了修复。
之后IE修复了和其他电脑浏览器一样的显示结果,实验整体数据提升了2%以上。
根据Airbnb的例子,我们可以学到的是,在整体实际效果不佳时,不必自相残杀,而必须从几个层面详细观察个人的情况,防止因区域集团的失误而导致的管理决策失误。
3)最好的只有一部分是有保证的
绕过以上两个坑之后,你很可能会得到一个相关性非常好的测试结果。当你欢呼雀跃,准备对外开放,提前公布战绩的时候,可能已经踩上了另一个坑——“部分最好”
以某理财投资平台提高新用户申请注册率的A/B测试为例,发现相比“点击注册”、“免费申请”的创意文案,“100元新手领大红包”的申请注册率最高。
但如果他只沉迷于测试创意文案,其实很可能会错过其他更有效的提高用户注册率的设想。
正确的做法是进行用户调查,了解用户不申请注册的原因。一般来说,金融投资平台之所以让用户放弃申请注册,还取决于复杂的注册手续、难以解决的信任问题、不匹配的投资理财产品等。所以,当你完成了申请注册键的创意复制测试后,你还必须进行一个这个级别的实验。
摘要
根据今日头条的分析,我们向你展示A/B测试的强大作用。选择A/B测试不仅可以在众多方案中选出最优方案,实际上可以进行商品的持续迭代更新升级,完成用户的留存。
如今A/B测试早已渗透到管理工作中,管理机构也觉得这个基础理论在具体工作中真的很有用。
1)当有各种选项可供选择,但出现分歧时,可以根据A/B测试找到最佳解决方案。比如文章内容的标题,裂变海报文案,以及其App的推送等。
2)看似简单的A/B测试,其实有很多坑:
①在测试中忽略了自然环境的差异,没有进行自变量 *** 作(只有一个自变量),导致数据错误;
②断章取义。当测试结果的数据在没有实现梦想的情况下得到提升,商品的推广就会被放弃,导致新项目功亏一篑;
③只进行局部优化,忽略了其他部分的调整和升级。[/s2/]其他级别的系统漏洞没有办法搜索。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)