[数据分析] 数据分析入门
20190118 qzd
- 数据思维
- 业务知识
- Excel
- 数据可视化
- SQL
- 统计学
- Python
1. 数据思维
三种思维：结构化、公式化、业务化
1） 将分析思维结构化
- 将论点归纳和整理
- 将论点递进和拆解
- 将论点完善和补充
a）金字塔思考方式- 核心论点
- 结构拆解：自上而下
- MECE：相互独立，完全穷尽
- 验证
2）公式化
结构化是分析的思维，但它不够数据，而且难免有发散的缺点。
+ - * /
3）业务化
用结构化思考+公式化拆解，获得的最终分析论点。很多时候，是现象。数据是某个结果的体现，但不代表原因。
4） 数据分析的思维技巧
三种核心思想是框架型的指引，实际应用中也应该借助思维的技巧工具。
7种：象限法、假设法、对比法、二八法、指数法、多维法、漏斗法。
2. 业务知识
1）指标
指标建立的要点：
核心指标、好的指标应该是比率、好的指标应该能带来显著的效果、好的指标不应该虚荣、好的指标不应该复杂。
A. 市场营销指标
a. 客户/用户生命周期
b. 用户价值
c. RFM模型：用户生命周期中，衡量客户价值的立方体模型。利用R最近一次消费时间，M总消费金额，F消费频次，将用户划分成多个群体。
d. 用户分群，营销矩阵
B. 产品运营指标
AARRR：Acquisition用户获取、Activation用户活跃、Retention用户留存、Revenue营收、Refer传播
C. 用户行为指标
功能使用、用户会话、用户路径
D. 电子商务指标
a. 购物篮分析：笔单价、件单价、成交率、购物篮系数（平均每笔订单中，卖出了多少商品）
b. 好基友：复购率和回购率
E. 流量指标
浏览量和访客量、访客行为、退出率和跳出率
2）怎么生成指标
组合
3）如何建立业务分析框架
从指标角度出发、从业务角度出发、从流程角度出发
4）数据管理
3. Excel
常见的文本清洗函数：
find、left right mid、concatenate、replace、substitute、text、trim、len
4. 数据可视化
1）初级图表：维度、度量
a. 散点图：看规律（气泡图、单轴散点图）
b. 折线图 ：随时间变化的趋势（面积图）
c. 柱形图：类别之间的关系（直方图）
d. 饼图：可理解为环形的柱形图
e. 漏斗图：转换过程直观展示
f. 雷达图：适用于个体的数据和属性可视化，比较偏描述性数据，常用于CRM，用户画像
2）常见的高级图标
a. 树形图：适合数据量较大的情况，尤其类别较多。
b. 桑基图：揭示数据复杂变化趋势的图表。一对多或者多对一
c. 热力图：空间上的变化规律
d. 关系图
e. 箱线图
f. 标靶图
g. 词云图
h. 地理图
3）图表绘制
4）散点图
5）辅助列
6）复合图表
7）甘特图
8）标靶图
9）杜邦分析法
10）Power BI
11）Dashboard
5. MySQL
1）数据库
- 数据库是数据存储的集合，表是数据结构化的信息。
- 列存储表中的组织信息。行存储表中的明细记录。
- 主键是表中的唯一标示，主键不具备业务信息。
6. 统计学
1）描述统计学：数值数据 与 分类数据
a. 分类数据描述统计
频数统计：单纯对各分类计数即可
频数百分比
b. 数值数据描述统计：统计度量 与 图形
统计度量：平均数、中位数、众数、分位数、方差（数据的离散程度）、标准差 、数据标准化（技巧：权重预估、切比雪夫定理）
- 切比雪夫定理：
至少有75%的数据，位于平均数2个标准差范围内
至少有89%的数据，位于平均数3个标准差范围内
至少有96%的数据，位于平均数5个标准差范围内
图形：箱线图、直方图
- 直方图中标准型（对称性）
正态分布中，至少有68%的数据，位于平均数1个标准差范围内
正态分布中，至少有95%的数据，位于平均数2个标准差范围内
正态分布中，至少有99.8%的数据，位于平均数3个标准差范围内
2）概率的世界
贝叶斯定理
二项分布
泊松分布
正态分布
假设检验
7. Python
第三方库：numpy 与 pandas
1）pd.Series
2）pd.dataframe：查找
3）read_csv
4）计算
5）Python groupby：聚合函数
6）Python Pandas
- 关联
- 多重索引
- 文本函数
- 去重
- apply
- 聚合 apply
- 数据透视
7）Python 连接数据库
8）Python 可视化
9）Python seaborn
10）Python superset
