大数据&Hadoop

2019-06-15 本文已影响0人小猪Piglet

大数据：

mysql存500-1000万条数据，无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是海量、高增长、多样化的信息资产。

海量数据的存储和海量数据的分析计算问题。

大量，高速，多样，低价值密度

旅游、仓储物流、零售、商品广告推荐、保险、金融、房产

产品人员提出需求>数据部搭建数据平台、分析数据指标>数据可视化

大数据部门结构.PNG

Hadoop的概念
- 开源的，可扩展的，分布式系统基础架构
- 允许使用简单的编程模型跨计算机集群分布式处理大数据集
- 可扩展：从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储
- 可靠的：不依靠硬件来提供高可用（high-availability），而是在应用层检测和处理故障，从而在计算机集群之上提供高可用服务
Hadoop能做什么？
- 搭建大型数据仓库
- PB级数据的存储、处理、分析、统计等业务
  - 搜索引擎
  - 日志分析
  - 数据挖掘
  - 商业智能（BI）：通常被理解为将企业中现有的数据（订单、库存、交易账目、客户和供应商）转化为知识，帮助企业做出明智的业物经营决策的工具。从技术层面上讲，是数据仓库、数据挖掘等技术的综合运用。
Hadoop发展史
Hadoop三大发行版本：Apache Cloudera Hortonworks
Google的三篇论文 GFS MapReduce BigTable

Hadoop是所有引擎的共性问题的廉价解决方案
- 如何存储持续增长的海量网页：单节点VS分布式存储
- 如何对持续增长的海量网页进行排查：超算VS分布式计算
- HDFS解决分布式存贮问题
- MapReduce 解决分布式计算问题
Hadoop Common: Hadoop的核心组件
Hadoop Distributed File System（HDFS）： 分布式文件系统
- HDFS的特点：扩展性&容错性&海量数据存储
- 将文件切分成制定大小的数据块，并在多台机器上保存多个副本
- 数据切分、多副本、容错等操作对用户是透明的
Hadoop MapReduce：一个并行处理大数据集的基于YARN的系统
- 分布式计算框架
- MapReduce是GoogleMapReduce论文的开源实现
- MapReduce特点：扩展性&容错性&海量数据离线处理
Hadoop YARN：资源调度系统
- 负责整个集群资源的管理和调度
- YARN特点：扩展性&容错性&多框架统一调度