基于大数据技术之电视收视率企业项目实战（hadoop+Spark

通过一个电视收视率项目实战驱动讲解，项目案例是国内的一家广电企业作为非洲国家的一个运营商，以用户收视行为数据作为基础数据，通过对频道和节目的分析，采用多维度统计分析的方法挖掘用户的收视行为特征。

通过此案例可以学习大数据整体开发流程，课程是围绕一个大数据整理流程而做的教学课程，让大家明白大数据不同技术的相互协调，从收集数据，过滤数据，数据分析，数据展示，调度的使用而开发的课程，而且怎么从hadoop，hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。

文章来源《基于大数据技术之电视收视率企业项目实战（hadoop+Spark） 》

内容大纲

1、项目的简介

2、项目的背景

3、项目流程演示

4、讲课的内容和对应的知识点

5、php展示统计分析之后的数据

6、大数据架构介绍并且企业使用的测试集群环境和人员配置

7、VM的安装

8、centos的安装和网络配置

9、通过第三方连接centos的方法

10、CentOS的yum源更新已经关闭防火墙

11、JAVA的安装和hadoop安装

12、完全分布式搭建(上)

13、完全分布式搭建(下)

14、通过hadoop自带的demo运行单词统计

15、写一个sh脚本，可以通过一台机器控制多台机器

16、hadoop常用的命令简单介绍

17、maven的安装

18、maven的使用时出现的问题以及解决问题方法

19、MAPREDUCE 示例编写及编程规范

20、安装时间同步工具，让所有电脑进行同步

21、Hive简介和工作流程

22、Mysql的安装，centos7安装mysql注意点

23、安装Hive,并且使用Hive做一个小案例

24、把txt文件的数据导入到Hive表中

25、Flume采集系统结构图

26、Flume的安装部署和实战

27、sqoop数据迁移和安装

28、sqoop数据从hadoop里面导入到mysql里面

29、sqoop数据从mysql里面导入到hadoop里面

30、Azkaban介绍和安装

31、Azkaban创建SSL配置和配置文件

32、Azkaban实战通过5个不同场景介绍原理

33、电视采集项目流程篇之通过linux日志收集数据到hdfs上面

34、电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗

35、电视采集项目流程篇之清洗数据绑定到hive表中（上）

36、电视采集项目流程篇之清洗数据绑定到hive表中（下）

37、电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中

38、电视采集项目流程篇之把hive表中数据导入到mysql中

39、电视采集项目流程篇之安装php环境并且快速熟悉php语法

40、电视采集项目流程篇之安装php和echarts进行结合展示图表

41、电视采集项目流程篇之Azkaban调度脚本的编写

42、电视采集项目流程篇之Azkaban流程调度演示，最终在php页面展示

43、hadoop和hive项目怎么平滑的转到spark上面介绍

44、Spark介绍和整体架构

45、Spark历史和特点

46、Spark下载源码和安装和使用

47、Spark创建RDD集合

48、Spark中transformation的介绍

49、Spark中action的介绍

50、Spark SQL发展史

51、HiveContext

52、Spark SQL和DataFrame

53、电视采集项目流程如何把hadoop项目平滑过渡到spark项目上

54、电视采集项目流程spark篇通过sparksql处理业务逻辑上

55、电视采集项目流程spark篇通过sparksql处理业务逻辑下

56、电视采集项目流程spark篇通过Azkaban调度spark

57、项目总体总结

58、简历指导

视频链接http://www.roncoo.com/course/view/d6270b0218bb44e6a894dd93de5228c1

文章转载请标明出处：作者：Jokey2017，链接http://www.jianshu.com/p/311c9ed6fad1