关于数据分析师

P.S.
+内容来源于：The Complete Guide to Landing a Career in Data [UDACITY]
（大数据行业终极职业指【优达学城】 ）
+个人自我提升的预期规划路径，因此只摘取所需内容，并经过筛选整理。
+可以直接看最后

基本介绍

• 核心技能

  • 初级 - 数据分析师
    编程、统计、机器学习、数据再加工、数据可视化
  • 进阶1 - 数据科学家
    Hadoop（最常用的分布式文件系统处理框架），Python，R
  • 进阶2 - 数据工程师
    • 基于Hadoop的技术，例如MapReduce，Hive，Pig
    • 基于SQL的技术，例如PostgreSQL和MySQL
    • NoSQL技术，例如Cassandra，MongDB
    • 数据仓库解决方案

• 日常工作（简而言之）

  • 从各种数据库、数据格式和数据来源中整理、提取、转换和加载数据
  • 使用探索性数据分析技巧从复杂的数据集中发现有意义的联系、模式和趋势
  • 对无标签的数据进行分类，或利用应用统计学和机器学习预测未来
  • 通过有效的数据可视化图表传达数据分析结果。

一些训练

• 阅读

  • Data Science Weekly
  • Machine Learning Mastery

• 比赛（尚未确定是否需要梯子）

  • Kaggle
    Kaggle的数据经过清洗，可以专注于构建模型
    Kaggle托管了大量数据集，可以在Quora话题下找到资源

  • Hacker Rank
    看着界面很干净和好看，因为配色是绿色系的，嗯，就是这么不讲道理。

技能分级

• 掌握编程背景知识

  • 基础知识

    • 变量、控制流、循环、函数
    • 调试
    • 面向对象的编程：便于复用

  • 高级知识

    • 数据结构（优化）：堆栈、队列、列表、数组、哈希图、优先队列、try语句和图表。（数据结构能够影响内存使用情况和运行时效率，便于优化程序）
    • 算法（优化）：分而治之（D&C）算法、贪婪算法、动态规划、线性规划和图形算法（深度与广度遍历，最小生成树和两个节点之间的最短路径）
    • 软件设计模式（优化）：让代码稳健、可复用、可测试。

• 掌握数学背景知识

  • 基础知识

    • 统计学：
      对不同类型的分布运用正确的方法、技巧或统计学检验，严格地解析、推导和比较不同类型的数据。

    • 概率学：
      能够推理事件曾经或未来发生的概率。

    • 高级知识

      • 多元微积分/线性代数
        了解多元微积分和线性代数有助于构建自己的算法。

具体技能

• 编程语言：Python，R（掌握ggplot2，reshape2，numpy，pandas和scipy）

• 统计学：统计学测试，分布，最大似然估计……

  • 描述统计：描述样本特性的量化方式

    • 基本值：均值、中位数、众数、标准差和方差、假设检验；
    • 分布：正态分布、指数/泊松分布、二项式分布、卡方分布；
    • 显著性检验：Z检验、t检验、惠特尼U检验、卡方分布、方差分析

  • 推论统计：根据样本预测分析

  • 统计学实验设计：

    • 样本数、样本关系、对照组+实验组、A/B test、幂次定律。
    • SMART实验理念：Specific（明确）+ Measurable（可测量）+ Actionable（可行动）+ Realistic（现实）+ Timely（及时）

• 数学：多元微积分，线性代数

• 矩阵运算、点积、特征值、特征向量、多元导数

• 机器学习：

  • 监督式学习：“有标签”的训练集+检验集，让学习者发现规则，并帮助识别检验集中的元素。监督式学习能够让手机识别你的声音，电子邮箱过滤垃圾邮件等。

    • 工具：决策树、朴素贝叶斯分类、普通最小二乘回归、逻辑回归、神经网络、支持向量机及组合方法。

  • 非监督式学习：从给定的“无标签”数据集中发现隐含关系，并得出隐藏结构。非监督式学习能够给你推荐喜欢的电影，预测你喜欢的商品。

    • 工具：聚类算法、主成分分析（PCA）、奇异值分解（SVD）、独立成分分析（ICA）

  • 强化学习：适用于非上述两种情况的情形。对每个预测性步骤或操作给出某种形式的反馈，但不提供精确的标签或误差测定。如机器人下棋等。

    • 工具：Q学习、TD学习、遗传算法

• 数据整理（/数据挖掘）：

  • 数据库系统：PostgreSQL, mySQL, Netezza, Oracle, Hadoop, Spark, MongoDB
  • 工具：正则表达式、数学变换、Python字符串库、解析常见文件格式（csv、xml等），通过log-10变换将非正态分布转换为正态分布。

• 数据可视化：

  • 工具：ggplot、matplotlib、sea born、D3.js
  • 以及了解可视化编码数据背后的原理，了解业务背景。

• 数据直觉

相关课程

目前仅关注了UDACITY的课程，后续如果没放弃会继续补充。
描述统计学入门（中/英）
推论统计学入门
数据可视化与 D3.js（中/英）
机器学习入门（中/英）
[用 MongoDB 进行数据整理（中/英）)(https://cn.udacity.com/course/intro-to-machine-learning--ud120]