基于日志服务的GrowthHacking(1):数据埋点和采集(

2019-07-01 本文已影响1人 25e88d6d7cbb

数据质量决定运营分析的质量

在上文中，我们介绍了GrowthHacking的整体架构，其中数据采集是整个数据分析的基础，只有有了数据，才能进行有价值的分析；只有高质量的数据，才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。

在实际生产中，我们常常面临数据采集的痛点：

数据分散在各处，有服务器日志，有前端日志，有APP日志。
各种端的日志，采集方式迥异，要投入大量研发资源，才能覆盖所有的平台。
收集、处理、清洗、标注数据，需要投入巨大的精力，80%的精力浪费在了这些前置步骤上。
不同端的数据格式千奇百怪，缺乏一种统一的数据规范。

从分析需求推演数据源

通常，我们要分析拉新的的转化率，产品的留存率，以及用户推荐和最终付费相关的所有指标，每种类型的指标对应的渠道如下图所示。

以拉新为例，通常我们可选择的渠道有社交媒体（微信、微博），线上推送（邮件、短信），内容营销（博客、微信公众号），广告（广告联盟），线下推广（二维码）。每一种渠道的表现如何，需要用数据证明。每一种渠道的数据采集方式各不相同。接下来将逐个介绍。

埋点规范

杂乱无章的数据，价值等于0！如果各个渠道的数据各不相同，那么我们在分析时，就有很大一部分精力浪费在整理数据上。为了保证数据的质量，我们需要制定出一份埋点的协议，保证在采集数据时，能够采集到完整的信息。

在日志采集中，一般包含两部分信息：事件和属性。下文以Web埋点为例，详细介绍web埋点包含的内容。

Web埋点

web埋点可用于在博客前端追踪用户的访问情况。

Web埋点规范

属性信息：
- 设备信息：
  1. DeviceId：设备标识。在首次加载js时，在cookie中添加唯一id。
  2. 屏幕长宽
  3. 设备类别。
- 用户信息：
  1. uid：用户id，用户唯一标识。
  2. session id：会话id，一次会话定义为连续的操作。
  3. 首次登陆时间。
  4. 会话开始时间。
- 软件信息：
  1. 语言
  2. os
  3. user agent
  4. 网站title
  5. 网站host
  6. 网站网址

Web埋点技术：

日志服务提供了Web Tracking技术，可以直接在网页上嵌入一个一个透明图片，当网页发生曝光时，会自动发送日志到日志服务。

埋点样例：

![](https://yunlei-statics.cn-hangzhou.log.aliyuncs.com/logstores/blog-tracking/track_ua.gif?APIVersion=0.6.0&blog=${标题名称}&src=yunqi&author=${author})

Web Tracking 本质上是一个http GET请求，不仅可以用来采集曝光时间，还可以用来采集一些事件信息。通过在前端嵌入js sdk的方式，通过js采集用户的行为动作，并且通过js sdk发送到日志服务。

嵌入js sdk的样例：

<script type="text/javascript" src="loghub-tracking.js" async></script>

采集事件样例：

var logger = new window.Tracker('${host}','${project}','${logstore}');
logger.push('customer', 'zhangsan');
logger.push('product', 'iphone 6s');
logger.push('price', 5500);
logger.logger(); //发送日志
logger.push('customer', 'lisi');
logger.push('product', 'ipod');
logger.push('price', 3000);
logger.logger();

iOS埋点

开发者可在iOS应用中，嵌入日志服务的iOS SDK，自由灵活的采集所需要的事件日志， SDK分为Swift和Objective-C版本。

Android埋点

Android SDK 类似于iOS SDK ，可以嵌入Android APP中，采集事件信息。

小程序埋点

在小程序中，可以参考Web的采集方式，嵌入js sdk，通过js事件采集内容，并且通过js sdk把数据发送到日志服务。

<script type="text/javascript" src="loghub-tracking.js" async></script>

邮件打开率和转化率埋点

邮件打开率

参考web tracking技术，在邮件的html内容中，添加一个img标签,该img标签是一个1X1的空白图片，用户看不到该图片。当邮件被打开时，会自动发送一条日志到日志服务：

<img src="https://yunlei-statics.cn-hangzhou.log.aliyuncs.com/logstores/blog-tracking/track_ua.gif?APIVersion=0.6.0&title=${邮件标题}&src=yunqi&author=${author})">

当日志采集到日志服务端后，可以参考本系列的分析文章，进行分析。

邮件转化率

运营同学可能在邮件中嵌入了一些链接，邀请用户注册、登录、访问某个功能。为了追踪用户是否打开了这个链接，我们需要在web tracking上封装一层。把真实的链接B封装起来，先跳转到A，在A记录下日志后，再跳转到真实地址B。

例如一下案例：

在邮件中，我们需要跳转到https://promotion.aliyun.com/ntms/act/logdoclist.html。
把上述链接url encode编码：https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html。
通过中间服务器跳转，把上述编码的url，作为redirect参数传递:http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html
在中间服务器上，调用web tracking，记录日志到日志服务，同时返回302跳转到真实的链接。

通过以上方式记录的跳转日志，可以分析营销邮件的转化率。

短信营销埋点

短信营销类似于邮件营销，在短信中，嵌入链接，追踪链接的打开率。短信相比于邮件特殊的地方在于，短信有字数限制，因此需要在短信中使用短域名，那么整体架构变成了这样：

在这个方案中，真实的链接经过三次跳转，第一次跳转到短域名服务器，第二次跳转到中间服务器，在中间服务器上记录日志，第三次跳转到真实的目标地址。

二维码扫描率追踪

二维码是线下营销的利器，通过扫描二维码可以快速转化。二维码本质上是一串文字的编码，通常是一个url，因此我们可以采用类似邮件追踪的办法，把真实的url进行编码，经过中间服务器的跳转，记录下来二维码的扫描次数。

中间链接http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html生成的二维码：

真实链接生成的二维码：

上述两个二维码的目标地址是一致的，但第一个二维码给我们机会，能够记录下来用户扫码的记录，无疑可以帮助我们判断运营活动的效果。

总结

本文介绍了常见的渠道的埋点技术，每一种渠道的数据分析，请关注本系列文章。

本文作者：云雷

原文链接

本文为云栖社区原创内容，未经允许不得转载。