数据分析概述
背景
数据分析是机器学习的基础，甚至对于工程或者项目管理来说，以量化数据为基础的方法论也是必要的。比如服务稳定性需要关注各种线上指标、性能指标等，这些指标需要实时的量化展示出来，以发现目前系统的问题。甚至对于UI设计、商业策略来说，数据分析中的AB-Test也是非常有效的分析工具。所以说，数据是一切工作的基础。
指标量化体系是数据分析工作中很重要的部分。但是对于数据分析师来说，不只是建立好指标系统、会用Excel、会使用SQL查询就可以了，更重要的是要理解数据背后的原因，要解决what、when、who、why、how的问题。
分析流程
目标确定
首先需要确定真实的目标是什么？把目标量化出来，遵循smart原则。比如DAU增长比例、 DAU和用户留存的关系。
数据收集
利用目前已经有的数据，或者构造实验产生新的数据。
数据清理
对搜集来的数据做数据清理，包括填充缺失值、去除异常值、数据类型转换，数据转换等。
数据分析
描述性统计
- 集中趋势：众数，平均数，中位数
- 变异性：分位数，异常值，方差，最大最小值
- 归一化：标准方差，最大最小归一，方差归一
- 正态分布：KL-散度：kl-diliverity
数据可视化：tableau
- 散点图、直方图、折线图、饼状图等
- tableau、python、pandas、excel等工具
假设检验
通常假设检验用来验证一种猜测，首先提出一种假设，然后计算接受或者说拒绝这个假设的概率。一旦这个概率大于p-value就说明这个假设可以被拒绝。
- P-value：错误拒绝零假设成立或者更极端情况的概率。直观上理解是错误拒绝零假设的概率。
- T检验：常用来验证总体平均值是否满足某个假设（单批样本，配对样本，独立双批样本）。一般来说，假设样本符合正态分布，根据样本平均值计算出来的T值符合T分布（类似于正态分布），T值和比T值更坏得到的p-value（错误拒绝零假设的概率）和0.05进行比较就可以接受或者拒绝零假设。可以被用来验证两个算法或者方案对于用户的影响到底哪个好。
下面是三种T检验的使用情况：不同的情况有不同的计算T值的方法- 单样本：验证单批样本的平均值是否等于某个估计常量。零假设是等于
- 配对样本：验证配对双批样本的差值平均值是否等于某个估计常量。（要求配对样本数等同）。零假设是等于
- 独立双样本：验证两批样本的平均数差值是否等于某个估计常量（不限制样本数和方差）。零假设是等于
- 卡方校验：假设两个事物之间没有关系，进而求得卡方值和P值，小于0.05时候拒绝原假设。
- 由四象限计算出来的卡方值符合自由度为(row - 1)(col - 1)的卡方分布（零假设为事物没有相关性），进而可以查表得到P值（错误拒绝零假设的概率），接受或者拒绝假设（小于0.05时候拒绝零假设）。
相关性分析
- 卡方验证：验证两个事物（a，非a，b，非b四个象限）之间的相关性。是否有相关性。卡方校验不仅可用于事物的相关性，也可以用来分析ABTest前后的结果是统计误差还是真的有效果。
- 协方差矩阵(连续型变量)、混淆矩阵、kl-散度、余弦距离、信息熵、PCA、树模型等机器学习的方法。
抽样分析（从大样本中抽取小样本）
- 大数定律：从总体数据中随机抽样n个样本，n越大样本的平均数越等于总体的平均数
- 中心极限定律：从总体数据中随机抽样n个样本（不管总体数据是什么分布），进行m次试验。实验得到的m个值（样本的平均数）呈正态分布
- 率的置信空间：假设p为抽样样本的xx比率，Z值为查表得到0.05双向置信的值，此处为1.96。因为抽样样本可能和原始样本存在偏差，根据抽样样本的比率我们可以估计原始样本比率的置信空间：
其中。
- 平均数置信空间
平均数置信空间 =， 其中
= 样本标准差 / n^(1/2)
数据建模
数据建模主要是使用机器学习模型或者统计学模型来利用数据，并达到数据分析的目标。
假设检验
提出假设，根据假设得到的概率和P值概率比较，判断是否要接受或者拒绝原假设。
AB-Test
- 随机对照分组
将用户随机的分为组，使得各个组之间的所有条件基本是相同的。然后在上面使用不同的策略，进行比较结果验证策略的有效性 - 使用卡方校验或者T校验验证前后两次实验是否是统计误差还是真的有效果。
- 因果分析
某些情况下不适合使用AB-Test，比如存在已久的系统再做AB-Test代价较高、医疗中不能使用两种策略分别应用在两个病人身上等。这时候需要从逻辑上分析导致结果的主要因素，就是因果分析。
。
机器学习模型
预测、回归、聚类、启发式算法等
数据生产
有了数据模型，需要将数据模型部署到线上，并产生新的数据。
结果分析
针对数据模型的结果数据进行分析，并验证结果的合理性。是否有偏差？新策略是否真的起到效果？这里也可以应用假设检验的方法比较新策略和旧策略的结果。
对结果的合理性有了分析之后，一般为了改进效果，可能还需要根据当前的结果优化策略，并开始议论新的数据分析。
总结
对于数据分析师来说，最重要的是业务的理解。只有对业务有了深刻的理解，才能敏锐的发现目前的问题，才会有灵感巧妙解决问题。而培养业务理解能力最重要的是多用自己的产品、多分析一些case、多理解自己的用户，向PM靠齐。
