073-preBigData-01Introduction
一、什么是大数据？
大数据（Big Data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。
大白话就是，数据量很大，普通常用工具很慢，要新工具新方法好高效处理。
大数据，更多的功能是分析过去，提醒现在，展望未来。
将人们所收集的各种数据分类汇总，最终通过高精尖的平台运算，分析其中的规律所在，就是大数据的应用。如果数据收集得当，任何行业、任何事情都可以运用大数据寻找规律，最终做出最优的小抉择。
无论从公司营销、政府决策、高速公路运营、农场管理、来年预算等等，大大小小的事情都可以应用大数据，并且从中获利。
单位：
1Byte = 8bit 、 1KB = 1024Byte 、 1MB = 1024KB 、 1GB = 1024MB
1TB = 1024GB 、 1PB = 1024TB 、 1EB = 1024PB 、 1ZB = 1024EB
1YB = 1024ZB 、 1DB = 1024YB 、 1NB = 1024DB
二、大数据的特征
- 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；
- 种类（Variety）：数据类型的多样性；
- 速度（Velocity）：指获得数据的速度；
- 可变性（Variability）：妨碍了处理和有效地管理数据的过程；
- 真实性（Veracity）：数据的质量；
- 复杂性（Complexity）：数据量巨大，来源多渠道；
- 价值（value）：合理运用大数据，以低成本创造高价值。
三、路线图
JAVA =====> 面向对象编程语言
Linux =====> 类Unix操作系统
Hadoop生态
- HDFS =====> 解决存储问题
- MapReduce =====> 解决计算问题
- Yarn =====> 资源协调者
- Zookeeper =====> 分布式应用程序协调服务
- Flume =====> 日志收集系统
- Hive =====> 基于Hadoop的数仓工具
- HBase =====> 分布式、面向列的开源数据库
- Sqoop =====> 数据传递工具
Scala =====> 多范式编程语言、面向对象和函数式编程的特性
Spark =====> 目前企业常用的批处理离线/实时计算引擎
Flink =====> 目前最火的流处理框架、既支持流处理、也支持批处理
Elasticsearch =====> 大数据分布式弹性搜索引擎
Docker =====>Docker 是一个开源的应用容器。
离线/实时项目
四、技能树？
image.png
岗位
-
大数据开发工程师
-
大数据清洗开发工程师
-
大数据仓库开发工程师
-
大数据运维开发工程师
-
大数据平台开发工程师
五、起源
名字起源：
该项目的创建者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的
image.png
项目起源：
- Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发
Google是Hadoop的思想之源（Google在大数据方面的三篇论文）
GFS ====> HDFS
Map-Reduce ====> MR
BigTable ====> HBase
我大略看过了，普通人不会想仔细看的，了解下就行。
三大发行版本：
- Apache、Cloudera、Hortonworks
Apache版本最原始、最基础：适合零基础 大公司在用
Cloudera
- Cloudera’s DistributionIncluding Apache Hadoop 简称CDH
- 中小型公司用、简单方便、自带可视化
Hortonworks
- 文档较好
注：Cloudera 和Hortonworks 在2018年10月，国庆期间宣布合并
六、环境
Windows硬件环境：
内存：32G(建议最低16G)
个人电脑最大内存检测：
win + R 输入 cmd
输入：
wmic memphysical get maxcapacity
就是字面意思，获取微机最大物理内存容量。
如果：
MaxCapacity：33554432
33554432 除以 1024 除以 1024 等于 32G
即电脑的最大支持内存为32G
如果是：
MaxCapacity：67108864
即电脑的最大支持内存为64G
磁盘:4T+200G SSD(建议最低500+G)
Mac硬件环境:
i7+16G内存+500+SSD
