如何通过A/Btest迭代社群运营玩法模型?
主题:通过A/Btest迭代社群运营玩法模型
分享人:李军龙(Alger)
3年互联网运营人,教育行业从业者,专注用户增长研究&社群营销
时间:20:00-21:00
地点:本微信群
分享大纲:
一、用户增长理论
二、ABtest操作流程
三、产品迭代
我们现在做增长,比如做拉新,可能更多是借鉴别人的玩法,或者自己拍脑袋想出一个点子,其背后是否可验证的逻辑支持,是否适合你的产品和用户这些可能都不一定就直接去做了,这样产生的效果就是你的活动效果一般都不是很好,而且还不能很稳定的产出运营策略。这就需要我们总结出自己一套增长办法,而且还是可持续迭代的。
下面分享一个自己做的案例,期待与大家交流学习更多增长的思维模型。
一、用户增长理论
不论是做产品或者做运营,日常都会经历一些假设-测试-验证-定义的迭代过程,只有不断的迭代挖掘与试验,我们才会找到更多的增长点。
摘自某课件PPT用户增长方法论:确定北极星指标——拆解成具体可以操作的优化场景与指标——规划并排序A/B测试试验——对于有效的方向进行更多的挖掘与试验。
下面,我举一个真实的案例,是我亲自参与的迭代试验,对上面这句话做一个诠释,希望大家能够从案例中了解到做增长做迭代原来就是这么一回事。
首先,我介绍下活动背景:
我们一个小团队是负责大学生四六级项目的,通过推广免费的流量课程来圈住大学生人群,然后去推广我们平台的其他高单价课程,前期已经验证增加社群服务是可以提高学完率和用户续报转化率的,所以后面我们的圈人班课程均会增加社群服务,下面我们需要对社群服务不断迭代试验,提高社群运营效率。
我们梳理了下我们的北极星指标是提高用户价值(单进班价值=总营业额/领班人数),而总营业额又跟续报领课人数有关,再进一步拆解续报领课人数跟好友数和领课率有关,领课率又跟社群的服务对用户信任度的提升有关,那么社群的服务又包含:答疑、直播、促学提醒。所以我们最终要提高的是答疑、直播、促学这些场景中参与用户续报课程人数。
大家可以直接看这个北极星指标拆解下来的流程图,如下图:
指标拆解通过拆解北极星指标,我们知道了原来要落地的运营动作就是提高社群服务中参与人数的比例,我们开始梳理整个运营流程,这时我们发现一些变量,这些变量可能会影响我们最终的北极星指标,这时候就需要做ABtest验证,固定一个变量来测试对北极星指标的正负影响。
一、A/Btest操作流程
我们在梳理运营流程时发现了用户学习行为过程中出现了两个变量:学制(分定时开班和随报随学)、分组(有分组和无分组),定时开班和分组对人员操作成本比较大,是否取消,这两个变量对课程学完率和单进班价值到底影响有多大,都需要我们做试验来验证。
下面以其中一个ABtest为例:
1) 明确试验的目的
比如,我们一组试验是:通过对比定时开班学习和随报随学两种学习模式对单进班价值的影响。如果随报随学这种学制跟定时开班学习的单进班价值差不多或者更高,那么可以直接采用这种模式,减少人力成本,反之亦然。
2) 设置A/B对照组
v 验证方法:
对照组A:四级词汇圈人班定时开班专题领取用户
对照组B:四级词汇圈人班随报随学专题领取用户
为了保证试验的准确性,两个样本A和B需要满足:
①用户量级相近,用户量级也不能太小,至少600人以上,要能代表全局特性。
②用户属性相似,具有代表性,比如我们的目标用户都是以大学生人群为主。
③测试环境能够代表全局特性,比如:都是沿用之前的用户领课路径,只保留唯一一个变量,其他环境都一样。
v 制定社群运营AB测试流程方案,确定续报课程触达方式和用户续报路径,如下图:
社群运营ABtest流程方案梳理这个流程方案很重要,将你的整个的运营动作都排期放到里面,帮助你按照自己的运营节奏来。
下面,是不是就可以活动上线前的准备工作做完了,等看效果了呢?还有一项很重要的工作要做。
v 整理数据需求:
测试方案确定后,在活动上线前,需要做的很重要一点就是跟BI提数据需求,确保数据可以满足以下几点,不然等试验结束后再跟数据同学提需求,可能会落得尴尬局面,数据无法获取。
保证活动数据可以满足:
1、能均匀地把独立用户分成2个属性一致的样本群体A和B。比如:我们课程上架分两个专题,将用户做A和B区分。
2、能对每个独立用户做身份标记,也就是每个样本的用户数据可以追踪到。比如:用户从领课——添加个人号——学习行为——续报课程,这条路径的数据都可以追踪。
3、能针对A和B在线调控出变量。比如:我们这次的一组试验变量就是学制的不同,在专题页直接设计随报随学和定时开班两种开班模型。
4、能分离A和B因为变量导致的数据差异。比如:对两个样本用户的续报领课情况,我们分别设置了带source的课程链接,这样可以获取每个样本下不同渠道的续报转化人数。
以上准备工作做完后,就可以开始活动上线,然后看最终的数据结果啦。
3) 分析数据
活动结束后,根据续报课程转化周期,我们活动结束3天后就可以开始找BI拉数据了。还是上面的例子,我们分析下两个ABtest的数据情况:
学习行为数据对比(以下数据有改动,非真实数据,仅供演示所用):
用户学习行为数据(留存及学完率)从数据可以看出,B组定时开班模式用户7日TAD(7日累计活跃天数)和学完率都明显高于A组随报随学学制;A组有分组7日TAD和学完率都明显高于B组无分组。
单进班价值数据对比:
续报转化数据从数据可以看出,A组随报随学模式的单进班价值(总营业额/领课用户)明显高于B组定时开班;A组有分组的用户单进班价值明显高于B组定时开班。
4) 得出结论
回顾我们社群运营的北极星指标,采用随报随学和有分组两种学制下用户的单进班价值更高,之后的社群运营流程可以继续沿用。
三、产品迭代
上面确定了社群的玩法模型采用随报随学和分组pk更加有效这个结论,但因为分组pk在微信群人工操作成本很大,如果社群用户量级很大,则需要走产品端的分组模式,解放人力,提高社群运营效率。
除了通过试验来验证用户哪种学习模式更有效外,我们还可以做更多其他的试验,比如设置对照组来测试社群的转化模型哪种更有效,不断迭代优化,提高运营效率。
-----------------------------------
欢迎加入我的小而美的社群《Alger社群运营进阶实操群》,一起深度交流学习。
扫描下方二维码,回复“入群”
扫描二维码后,私信39元红包加入会员群社群学员权益:
【学习安排】:
️①、两周一节主题课分享,共12节课。
#过往实操案例分享+干货知识#
内容以社群运营过程中的增长拉新、促活、留存、营销转化各关键步骤主题展开,包括朋友圈运营。(具体时间会以私信或者微信群公告形式通知)
分享大纲如下:
1、验证社群玩法模型应该注意的点?(已完成)
2、小而精美的社群如何才能运营好?
3、规模化万人社群如何延长社群的生命周期?
4、市面上社群的类别对比以及各自的运营特点?
5、案例:如何通过群服务提升完课率和续报转化率?
6、教培机构如何结合微信进行线上线下获客?
7、朋友圈运营及朋友圈文案撰写技巧?
其他:每周案例拆解+总结复用方法
️②、50个高质量回答(基本每周每人可以提问2-3个问题,每个问题都会尽力让大家满意。)
️③、一对一诊断你社群运营中的问题,并给出可落地解决办法。
️④、跟一群同好的人共同交流学习,在碰撞中激发灵感。
️⑤、挑选经典案例,大家一起拆解,优秀的分享者每周可以获得一本赠书和跟我长期合作的福利。
内部更多福利:
1.今年会确定一个社交电商赚钱项目,自己动手做起来,会优先从付费用户中选拔合伙人。
2.各类运营书籍免费电子书赠送(基本覆盖了现在市面热门的运营人必读书资源)。
3.大学习、宝妈人群流量变现途径。
往期分享案例: