渠道评估怎么做，才能让App假量灰产无处遁形？

2019-05-30 本文已影响44人人人都是产品经理社区

渠道获客的从业者要如何在自身渠道数据中剔除假量，识别出优质量，并通过不断的渠道构成优化使得渠道投放的ROI效率最大化？本文笔者将基于友盟+移动统计（U-App AI版），对两个真实案例进行剖析，讲述：如何高效地做渠道评估，让App假量灰产无处遁形？

题图来自Unsplash，基于CC0协议

互联网下半场，在App拉新获客上的表现为：一方面显性成本不断走高，另一方面，异常渠道和虚假流量拉高了隐形成本。

针对这一问题，喜马拉雅借助友盟+移动统计（U-App AI版）构建了实时的渠道投放监控体系：识别异常渠道、虚假流量，并自动监测报警直观展示详情，为管理层和运营团队提供了及时的决策支持，同时形成投放策略迭代优化的闭环。在实践中累计节约数百万元的渠道投放成本，极大地促进了渠道获客的健康成长。

在经济寒冬的大环境下，这样的“精益获客体系”对互联网企业来说非常重要。

目前市场上各类应用、各类媒体在渠道推广上的竞争已达白热化状态。从流量红利转入存量时代，App产品的渠道推广越来越难，具体可表现为以下三个方面：

（1）应用商店高筑流量壁垒：大手机厂商应用商店的商业化程度越来越严重，开始追求利益最大化的变现，应用推广成本水涨船高，平均一个激活成本2-3元的时代一去不复返，目前一个金融类应用的激活成本甚至高达几十元。

（2）渠道媒体鱼龙混杂：移动媒体推广、信息流广告原生广告爆发，面对竞争态势异常激烈、鱼龙混杂的媒体环境，转化效果精准评估和异常流量甄别成为广告主推广的痛点。

（3）对渠道获客从业者的数据能力要求越来越高：数据科学在渠道推广中的作用举足轻重，最大可能利用数据来驱动业务的增长，是对增长负责人、产品及运营负责人的新考验。

但正所谓“渠道是立身之本，产品是立命之本”，互联网企业不能回避问题，更需要迎难而上。

笔者认为：在常见的渠道获客方式中，无论是免费、付费还是换量，不同的渠道的天然属性固然存在一定差异（即带来的用户激活App的情况会因渠道属性天然存在一定差异）。

但抛开不可控因素，渠道获客的从业者如何在这些渠道里剔除假量，识别出优质量，并通过不断的渠道构成优化使得渠道投放的ROI效率最大化，才是解决上述三个问题的关键。

笔者为此构建了一套渠道评估体系，如下图所示：

App渠道评估体系分为：渠道反作弊评估体系和渠道质量评估体系。

渠道反作弊体系：以渠道真量为目标，用于识别渠道假量。

渠道质量评估体系：可分为渠道有效性评估体系、渠道留存评估体系和渠道ROI评估体系，分别对应新增、活跃和收益这三个目标，旨在量化渠道效率、量化渠道留存质量和量化投入产出效率。

一、真实案例分析

案例一：渠道整体按比例和时间段掺入假量

2018年12月，笔者在审核DSP渠道某个账户的质量时，发现这个账户连续3个月在各个既定指标上均是贴着KPI走，不高也不低。

长期的从业经历让笔者意识到这里面可能存在问题。于是又深入到渠道包维度（一个投放计划对应着一个渠道包）查看了各个指标的数据详情。

通过分析发现：每隔一段时间，都会有几个渠道包的1日/3日等短期留存率正常，而7日/14日/30日等中长期留存率极其低（如下图），同时这些中长期留存率低的渠道包并不是固定几个，而是在不定期轮流变化。此时基本可确定这个渠道在控制整体质量的同时掺入了假量。

这类广告商不可谓不“狡猾”：他们意识到全量造假是很容易被发现的，转而选择以退为进，整体满足KPI的情况下，在总体数量上按一定比例掺入假量，鱼龙混杂，提高假量发现的难度。

例如：每100个真实量中掺入5个假量。另外还在时间维度上神出鬼没，当月在渠道包A掺假，下个月再换到渠道包B，如果被发现，就用渠道不稳定来搪塞。

归因分析能够帮助企业识别用户的新增最终源自哪个渠道，但当渠道投放预算充足，相关指标满足KPI时，渠道运营人员往往容易忽视不同渠道存在的虚假流量。

而对于这些真假参半的异常渠道，若不去追溯每个渠道流量的质量，就是纵容虚假流量对渠道投放的长期影响，影响渠道获客的健康发展，终会给企业带来不可估量的损失。在上面这个实例中，正是因为笔者在渠道包维度追踪了数据，才最终识别出了假量。

案例二：利用某些低端机型刷量

笔者在一次关于各渠道新增用户机型分布的专题分析中，发现某几个渠道的新增用户中机型的分布十分异常：

理论上来说，不同的渠道覆盖不同的用户群，用户的机型分布也会有一定的区别，比如：华为应用商店渠道的用户，绝大多数机型会是华为手机。排除这类手机厂商自带的应用商店，在正常情况下，Android新增用户的机型分布应该呈现多元化，并且华米OV四大手机品牌应该占据着相对较大的比重。

但笔者发现：某几个渠道新增用户的机型分布中，高居榜首的却是一两个不甚知名的手机品牌的低端机型，且占比高达10%-20%（如下图）。

笔者进而深入分析了这些渠道新增用户的启动次数、使用时长、留存率、付费转化等用户行为数据，发现启动次数基本为1，使用时长不足10秒，7日后的留存率为0，付费率为0，此时基本可以确定为利用机型刷量。

由于广告投放过程中渠道服务商存在各级代理，流量获取不透明，让可供作弊的灰色区域越来越多，看似正常的广告投放留存，其实隐藏着虚假流量的危机。

以上两个案例均为CPA、CPD付费形式的常用作弊手段——采用各种手段刷下载、激活及留存，虽然作弊成本相对较高，但也较难屏蔽。除此之外，还有CPM、CPC付费形式下的刷曝光和点击CPS付费形式下刷订单等作弊手段。

总之，每种广告都有对应的付费形式，每种付费形式都有虚假流量利益的诉求点。

虽然渠道假量识别一直是增长负责人和渠道推广人员的一大痛点，但渠道推广人员以及数据分析师不可能有足够的时间和精力去一一核对各个细分渠道的详细数据，进而识别出渠道假量。即便能够一一核对，但也需要耗费大量的时间，待查出问题时，相关的损失可能已经造成且无法挽回。

那么，是否可以建立一种机制，建设一套健全的体系，能够精准的识别渠道假量，并自动报警，及时提醒相关人员呢？

二、解决方案

1. 渠道投放全流程数据监控

笔者认为：无论从哪个维度入手去识别异常渠道和虚假流量，首先都需要将广告曝光点击数据、用户属性数据和用户行为数据通过一定的数据采集手段，进行关联、整合、聚类，从而获取完整、全面和准确的基础数据，并据此实现用户数据的跟踪和分析。

有了完整全面的数据，一方面，我们可以根据渠道的属性从不同的突破点去寻找虚假流量的踪迹；另一方面，通过分析和保留一个虚假流量完整环节的数据，可以建立支撑虚假流量强有力的证据。

如上图，广告投放全流程数据主要可分为三类;

广告投放数据：广告曝光量、广告点击量；

用户基本属性数据：新增用户的激活时段分布、地域分布、设备终端分布、网络及运营商分布、App版本分布；

用户行为数据：新增用户的留存情况、App启动次数、App使用时长、业务转化情况（如播放时长、付费行为）。

2. 渠道反作弊评估体系

数据本身并不说明问题，对数据的解读才能说明问题。

也就是说，数据只是未经加工的原始素材，表示的是客观事物，须经过加工处理，形成逻辑后方能称为信息；对大量的信息再进行总结归纳，将其体系化，便形成了知识，指导实践。

实现对渠道投放全流程的数据监控后，接下来便是通过这些数据来识别异常渠道和虚假流量——即建立渠道反作弊评估体系，具体包括：

（1）从各平台各维度获取数据；

（2）监测指标及阈值的设定；

（3）自动报警提醒、渠道详情展示；

（4）完成异常渠道识别与虚假流量监测。

第三方监测平台也在完善反作弊能力，例如友盟+会在四个层面进行反作弊：

（1）重构通信协议，增加机密算法，提高破解协议的门槛。

（2）增加ID变化追踪策略，锁定虚假ID。

（3）在服务端升级算法和控制策略，更有效识别刷量行为。

（4）是增加appkey保护策略，上线设备指纹、模拟器识别等技术，尤其是针对Android设备端的刷量行为，大力打击羊毛党。

三、实施步骤

（图：异常渠道监测流程）

在渠道反作弊实施步骤中，新渠道开通后，首先必须经过渠道管理系统，成功录入渠道包和账户-渠道匹配关系后，方能进入渠道反作弊评估体系。

在获取相关数据后，设定异常渠道的监测指标，并根据历史样本数据训练阈值，对于小于阈值的疑似异常渠道自动报警，实现“信息即时到达”，同时在报表中展现渠道详情，指导渠道优化。

1. 渠道管理系统

渠道管理系统是渠道反作弊流程中必要的前期准备工作，主要包含渠道包管理和账户-渠道匹配管理。

1）渠道包管理：渠道运营人员在渠道投放前，需要为每一个渠道打好UTM标记，称作渠道包，通过渠道归因来识别新增用户的渠道来源。同时，将这些渠道包按照各种维度做好分类，为后续统计各维度的渠道数据做好准备；

2）账户-渠道匹配管理：渠道运营人员需要将渠道投放数据后台的账户/计划与App转化数据中的渠道做好匹配关系，旨在实现渠道投放后台数据与App用户转化数据的连续性。

2. 获取相关数据

友盟+移动统计（U-App AI版）用户渠道维度数据的多样性，如：

新增用户的激活时段分布、地域分布、设备终端分布、网络及运营商分布、App版本分布等用户基本属性数据，新增用户的留存情况、App启动次数、App使用时长等用户行为数据，为渠道反作弊体系通过提供了数据基础。

对外开放的API接口，为获取相关数据提供了极大的便利；

数据的准实时性，为后续自动报警，实现精细化且高效的风控提供了可能。

3. 设定异常渠道的监测指标和阈值

根据各个渠道类型的属性，设定各类渠道的异常渠道监测指标。同时，以历史上的相关指标数据为样本，训练并设定阈值，当指标超出阈值——即认定为疑似异常渠道。

本文仅以留存指标为例：

（1）准备数据

笔者选取历史上所有激活量大于100的渠道包，并准备好这些渠道包的新增量以及1/3/7/14/30日留存率。

（2）确定指标

留存率指标：1/3/7/14/30日留存率；

周同比留存率波动：1/3/7/14/30日留存率较同一渠道上周同一天的下降幅度。

（3）设定阈值

计算出历史样本数据中周留存指标和周同比留存率波动指标的十分位数，如下表：

按照以上90%以内的标准，并结合实际业务情况，将监测指标的阈值调整如下：

即以上留存监测指标中，某一渠道（激活量大于100）的实际值小于阈值，便定义为疑似异常渠道。

4. 自动报警机器人

公司采用钉钉为内部通讯、协同工具，钉钉群机器人是钉钉群的高级扩展功能，可以将第三方服务的信息聚合到群聊中，实现自动化的信息同步。

根据异常渠道监测指标的阈值，将疑似异常渠道的信息同步到钉钉群中，自动报警，以及时提醒渠道运营人员。

5. 报表可视化展现详情，指导优化

将历史上所有的疑似异常渠道通过Tableau可视化工具更为直观详细的展示出来，包括各类相关的数据指标，指导渠道运营人员及时调整渠道投放。

同时，作为与媒体或广告代理商谈判强有力的证据，相应采取要求补量或拒绝付款等应对措施。

四、总结

面对层出不穷的异常渠道和虚假流量，渠道获客从业者其实大可不必惊慌，通过上面的一系列实例和解决方案，我们发现：

异常渠道和虚假流量并非无迹可寻，只要数据化和在线化，就一定能够追溯。

我们发现借助强有力的工具进行深度的数据分析，是识别异常渠道和虚假流量最直接、最可靠的方式，并且在日益复杂的媒体环境下，这一方式将发挥越来越重要的作用。

笔者在此将自己的从业经验总结为两条，希望能为广大渴望提升数据驱动能力的APP广告主提供一些参考和借鉴：

（1）利用先进的工具实现强有力的数据支撑。

基于对数据分析工具的熟练应用以及监测执行经验，笔者认为：App广告主应该积极与能够实现多维数据分析的平台进行合作。一方面可以节省大量的基础数据采集处理时间；另一方面也更容易实现指标体系的迭代延拓。

例如：笔者在工作中就借助U-App AI版的用户渠道维度数据的多样性、开放性、准实时性，帮助所在企业实现了一站式多渠道多维度分析。

（2）结合对行业的理解与工作实际，建立健全及时的渠道评估体系。

一套完整健全的渠道评估体系是企业渠道获客健康发展的法宝。渠道反作弊评估体系、识别渠道真量、渠道质量评估体系，分别对应着新增、活跃、收益这三个目标。

而企业在不同的发展阶段，会有不同的目标侧重点——或关注渠道有效性评估体系以追求用户规模，或关注渠道留存评估体系以强调用户活跃，亦或关注渠道ROI评估体系以提升用户收益，渠道获客从业者需要根据企业发展阶段灵活处理。