大数据学习程序员

如何进入大数据领域,学习路线是什么?

2018-10-11  本文已影响1人  6816ee4e9ca0

一般的学习方法如下:

1、Linux命令基础实战

大数据架构体系结构及开源组件介绍            (要掌握)

Linux基本操作            (常见的Linux命令需要会)

2:Hadoop基础

Hadoop基础,对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍,让你快速把握Hadoop的核心技术和工作原理,逐渐形成分布式思维;

Hadoop介绍

Hadoop运行模式

3:Hadoop集群搭建

Hadoop集群搭建——安装Linux虚拟机

Hadoop集群搭建——远程连接

Hadoop集群搭建(on Linux)——Hadoop(上)

Hadoop集群搭建(on Linux)——Hadoop(下)

Hadoop集群搭建(on Mac)——Hadoop

4:HDFS原理

番外篇-课程体系

HDFS架构原理

FS Shell命令介绍及实践

5:YARN工作原理

YARN的产生背景

YARN的设计思想

YARN的基本架构

YARN的工作流程(小结)

6:Sqoop

Sqoop,作为关系型数据库与Hadoop之间的桥梁,批量传输数据,让你自然的从关系型数据库过度到Hadoop平台,在关系型数据库与Hadoop之间游刃有余的进行数据导入导出;

Sqoop & Hive课程内容介绍

Sqoop介绍与安装

Sqoop的基本使用

Sqoop 导入参数详解

Sqoop导入实战

Sqoop增量导入(上)

Sqoop增量导入(下)

Sqoop导出实战(上)

Sqoop导出实战(下)

Sqoop Job

7:Hive

Hive,基于Hadoop大数据平台的数据仓库,可以让你实现传统数据仓库中的绝大部分数据处理、统计分析,让你在Hadoop大数据平台上感受到Hive QL带来的便利的交互式查询体验;Mars将以日志分析或其他示例带大家熟练掌握Hive的应用;

Hive架构介绍(一)

Hive架构介绍(二)

Hive环境搭建(一)

Hive环境搭建(二)

Hive CLI初探

Beeline介绍

Hive数据类型

Hive表一——标准建表语句解析&内、外表

Hive表二——文件及数据格式

Hive分区&桶&倾斜概念

Hive表——Alter

Hive视图&索引简介

Hive表——show & Desc命令

Hive数据导入--load

Hive数据导入--insert

Hive分区表实战

Hive复杂数据类型的嵌套实例

Hive源码阅读环境

Hive执行原理

Hive查询优化

UDF函数实例

Hive终极实例——日志分析

  (1)网站日志分析的术语、架构介绍

  (2)建表及数据准备

  (3)数据处理及统计分析

  (4)数据采集到统计分析结果的crontab定时调度

8:HBase

HBase,列式存储数据库,提供了快速的查询方式,是Apache Kylin的默认数据存储结果;

HBase介绍及架构

HBase安装

HBase操作实战

Hive与HBase集成实战

9:Kylin

Kylin,基于Hadoop的OLAP分析引擎,在Kylin中可以实现传统OLAP的各种操作,直接读取Hive的数据或流式数据作为数据源,把这些数据根据业务模型构建成Cube,Kylin提供了基于Hadoop(MapReduce)的Cube构建,Build完成的Cube数据直接存储于HBase中。Kylin提供了Web UI供查询,包括一些图表展现,是基于大数据的完美OLAP工具;

维度建模   

Kylin背景及原理架构

Kylin环境搭建

维度建模知识

Kylin Cube Build步骤解析

Kylin Cube实战

Kylin 增量Cube

Kylin 优化

10:Spark

Spark,基于内存计算的大数据计算引擎,提供了Spark SQL、Spark MLlib(基于Spark的机器学习)、SparkR等框架适应不同的应用需求,Spark专题将和大家一起实践操作各种应用和算法;

Spark集群搭建

Spark Core

Spark WordCount(Spark-shell/pyspark..)

IDEA IntelliJ搭建Spark开发环境

Spark编程实例

Spark SQL及DataFrame

Spark SQL实例

Spark Streaming

Spark Streaming实例

Spark MLlib

Spark MLlib应用实例

Spark R介绍

可以基于每个模版去查一些相应的资料 及教程,然后按照操作即可。。。

在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。


大数据学习路线:

上一篇下一篇

猜你喜欢

热点阅读