数据分析工具简略总结

• Author：杜七 duqi@kongge.com
• Date: 2014.12.27

---

时光易老。
请把节省的有限时间，投入到无限的美好生活中去。

---

0，前言

• 数据分析工作中需要用到的“工具”，是我以前很迷茫的一个东西。
• 现在，把分析师常用和接触到的“工具”，整理一下分享给大家。期望对大家有用。尤其是新人。
• 毕竟，我们没有那么多的时间和精力去学习各种工具，只能从实用考虑，选择合适工具来提高自己。

---

1，数据提取篇

数据提取，其实是看场景的。
当然，我们这里的场景，都是基于作为一个阿里妈妈数据分析师来考虑的。
其实，不管是数据提取，数据分析，建模，都是要看场景的。
分析师的需求，就是提取产品数据，做一些分析，反馈给需求方。 这个是我们的主要工作场景。
在阿里，这个场景的范围要在缩小一点。

• 1）ODPS SQL

  • 在阿里的同学，应该对这个东西不陌生。 如果陌生，请咨询对口产品的BI，让他们提供一些资料来了解一下。
  • SQL是结构化查询语言的缩写，云梯2通过SQL可以更轻松的查询和提取数据，方便广大非开发的PD,运营和BI同学。
  • 所以，作为数据分析师，这个工具一定要掌握。它相当于一个士兵的枪。
  • 枪法好不好是其次，如果没有枪，你说你能在阿里这个战场上混的下去么？

• 2）Shell

  • ODPS SQL，提取数据有一些限制，比如：
    • 只能结构化查询和结构化提取，不能有更复杂的判断条件，或者满足不同的提取场景
    • 数据的处理按照行和列，不能进行其他维度的分析
    • 如果做其他的系统化的数据开发，仅仅SQL是不够的
    • 等等
  • 这个时候，可能你需要Shell（或者Perl等）的帮助：
    • 作为一个分析师，基本的ODPS SQL也满足需求。但是，如果除了必要的枪以外，还能掌握更多的工具和知识，在战场上存活的概率会更高。
    • 但是。我不建议每个人一下子扑上来都去学Shell。工作和学习不一样。用到的时候再去学，更合适。
    • 永远记得：** 技多不压身。 **

• 3）其他

  • 一般的数据分析师，ODPS SQL 就足够了，顶多再加一个Shell
  • 但是，如果你要做系统的数据开发，可能需要更多的技能。这部分，暂时不写了。因为我不会。

---

2，数据分析篇

基于数据分析师的场景来说数据分析工具。

• 1）Excel

  • Excel属于普通话的级别，即每个人不管说的好不好，都会说普通话。
  • Excel也是这样一个状态。 每个人都会Excel，只不过有些人用的多，有些人用的少而已。
  • 作为一个基本的数据分析师，前期的工作，用一个Excel可能就满足需求了。 就是对SUMMAY的数据画图，对比，产出一个结论。
  • 当然，Excel可以画很漂亮和（看上去）专业的图。这个大家有兴趣，可以参考@刘万祥的一些博客，请自行google.
  • 它属于轻量级分析工具

• 2）R语言

  • 如果处理的数据比较复杂，而且可能需要一些函数来统一处理，就需要一个统计软件了。 这个时候，R语言，SAS,SPSS，MATLAB都出现了；
  • 作为用过MATLAB，SAS的过来人，个人推荐R语言。因为它的packages实在是太丰富了。
  • R可以干嘛？
    • Excel可以做的，它都可以做
    • Excel不能做的，比如数据处理和分析，画图（这个很牛），建模，它也可以做。
    • 当然，它有一个缺点，如果数据量太大（超过500M），它就很难用。除非要写并行的一些代码
  • 但是，基于我们现在用到的数据量，和要做的数据分析，我还是建议大家除Excel，可以了解一下R语言。通过它，你可以了解另外的一个世界。
  • 它属于次重量级分析工具

• 3）Python等

  • 当然，有些时候，R语言还是解决不了问题，肿么办？那就选择其他语言
  • 如果想做Deep Learning，可能需要Java，或者C++，这个，我帮不了你了，我不会
  • 如果想发挥黑客的潜质，可以了解一下Julia，它集合了R、Python、Ruby等特点，很赞。
  • 如果想用更通用的工具，那就是PYthon了。
  • 因为目前阿里有一个XLab的数据挖掘的工具，代码就是python,用这个XLab做数据挖掘，我觉得作为分析师来说，足够用了。
  • 当然，Python的用处，不仅仅是为了XLab，还可以更好的处理数据，做更多的数据挖掘等。
    • 它属于重量级分析工具

---

3，数据建模篇

数据建模，越来越简单化。
就像吃饭，不用自己做，点个外卖就可以了。

• 1）R语言

  • R语言的强大，就是一个瑞士工具刀，小，但是功能多。
  • 如果从业务角度出发，想快速迭代和仅仅做一个尝试，R语言建模不失为一个好工具
  • 比如，我们可以选一些样本，通过R语言的内置的pacakge，可以很快的做建模，然后对结果进行分析
  • R语言是一个统计软件，可想而知它的建模功能有多强大
  • 用R做数据建模，不考虑剔除数据处理和清洗的话，建模的语句不超过5行！灵巧就是这么任性！
  • 唯一一个不爽的地方：
    • 现在很多同学都不是console状态下提取数据，所以用R语言建模，需要download数据，然后倒入到R里面去，然后建模
    • 现在数据安全控制比较严格，可能需要在七星阵里面用R语言来建模
    • 当然，如果有console的环境，可以安装RODPS。如果你们有兴趣，参考这里

• 2）XLab

  • 目前阿里数据挖掘同学用这个比较多。它是一个基于ODPS的数据挖掘工具，里面内置了很多数据模型和函数，比如，我要做一个聚类，这样用Kmeans的函数，然后输入相关参数就可以了。简单吧？看着很简单
  • 它的所有的代码，需要python来实现，当然，里面内嵌了ODPS SQL
  • 为什么说它很方便：
    • 它基于ODPS的数据表，你个人所有的ODPS数据表，都可以直接当一个数据源，不用另外存储和处理
    • 它可以画图，里面有常用的统计分析，画图的功能
    • 当然，它最强大的就是可以做建模和挖掘，也是基于你ODPS的数据表
  • 想象一个应用场景：
    • 你在ODPS上create table 一张数据表t_dq_test
    • 然后，你在XLAB里面基于这种表，写一个Python的脚本，里面有聚类函数
    • 运行这个脚本，可以对t_dq_test表中的数据进行聚类
    • 针对聚类结果，你可以分析是否适合业务和产品需求？等等其他。
  • 如果你们想做数据挖掘，我建议可以了解XLab,参考这里

---

4，最后的建议

• 很多新同学来了，很多老同学也在努力。工具太多，干扰太多。这篇东西，期望先给大家一个总结，让大家知道我们现在有什么，可以用什么，哪些实用，哪些不实用。聚焦自己想学的，不要分散时间和精力。
• 大部分的阿里数据分析师工作，用ODPS SQL + Excel就可以搞定；如果在复杂一点，加一个R语言就够了；如果在复杂一点，加一个XLab就够了
• 还是那句话，工作场景不一样，需求不一样，用的工具也不一样。这个很关键。工作和学习不一样，我们需要用合适的工具，高效率的做完我们的工作。不要都学，都会。
• 如果你想学一门语言，我建议学Python语言
• 如果你还想学一门语言，我建议学R语言
• 如果你还想学点东西，除了产品必要的内容外，我建议多看看营销，广告的书。做分析师，工具都是浮云，关键是解决和推动事情的能力。
• 最后一句：** R语言除了数据处理，画图，现在还可以写Slide,ppt,还可以做自动化产出，可以写报告，可以做任何事情…… **

---

5，One More Thing （最重要的）

• 分析工具都是浮云
• 功夫都是在诗外