Spark小白学习之路@IT·互联网程序员

绝对干货:Spark核心技术系列学习课程和实践指导

2017-04-18  本文已影响156人  阿里云云栖号

云栖社区围绕大数据技术——Spark整理了一份详尽的学习、实践课程,整个课程分为三大部分:

一、基础打磨:《Scala入门到精通》《Linux&Akka基础》的系列学习课程;

二、深入理解:本部分主要包含《源码走读》、《组件解析》两部分内容;

三、应用实践:从语言的场景实践到技术应用提供了全方的实战演练案例,读者可以根据内容手把手地进行;

还有最后一部分是介绍基于阿里云E-MapReduce(点击了解产品详情)的实践应用讲解,此部分小编特意为想深入学习的上云“新”同学们准备了一份厚礼:10个阿里云免费套餐邀请码(想必很多同学知道他的价值,如果还有不了解的可以点击此处查看)用于实践学习使用。

获得方式:各位同学可以直接在评论中回复:我要阿里云免费套餐邀请码,为公平起见采用评论点赞排名前十位的小伙伴可得。

课程介绍如下,提供给各位同学提前预览各取所需,课程学习页面请点击此处进入

一、基础打磨篇:

1.1 《Scala入门到精通》

· 第一节:Scala语言初步

· 第二节:Scala基本类型及操作、程序控制结构

· 第三节:Array、List

· 第四节:Set、Map、Tuple、队列操作实战

· 第五节:函数与闭包

· 第六节:类和对象(一)

· 第七节:类和对象(二)

· 第八节:包和引入

· 第九节:继承与组合

· 第十节:Scala类层次结构、Traits初步

· 第十一节:Trait进阶

· 第十二节:I/O与正则表达式

· 第十三节:高阶函数

· 第十四节:Case Class与模式匹配(一)

· 第十五节:Case Class与模式匹配(二)

· 第十六节:泛型与注解

· 第十七节:类型参数(一)

· 第十八节:隐式转换与隐式参数(一)

· 第十九节:隐式转换与隐式参数(二)

· 第二十节:类型参数(二)

· 第二十一节:类型参数(三)

· 第二十二节:高级类型 (一)

· 第二十三节:高级类型 (二)

· 第二十四节:高级类型 (三)

· 第二十五节:提取器(Extractor)

· 第二十六节:Scala并发编程基础

· 第二十七节:Scala操纵XML

· 第二十八节:Scala与JAVA互操作

· 第二十九节:Scala数据库编程

· 第三十节:Scala脚本编程与结束语

1.2 《Linux & Akka基础》

· 第一节:Linux介绍、安装及使用初步

· 第二节:Linux文件系统、目录(一)

· 第三节:用户和组 · 第四节:Linux文件系统(二)

· 第五节:vi、vim编辑器(一)

· 第六节:vi、vim编辑器(二)

· 第七节:进程管理

· 第八节:网络管理

· 第九节:Shell编程入门(一)

· 第十节:Shell编程入门(二)

· 第十一节:Shell编程入门(三)

· 第十二节:Shell编程入门(四)

· 第十三节:Shell编程入门(五)

· 第十四节:Shell编程入门(六)

· 第十五节:基础正则表达式(一)

· Akka并发编程(一):并发编程简介

· Akka并发编程(二)::Actor模型(一)

· Akka并发编程(三):Actor模型(二)

· Akka并发编程(四):Actor模型(三)

· Akka并发编程(五):Actor模型(四)

· Akka并发编程(六):Actor模型(五)

· Akka并发编程(七):Actor模型(六)

· Akka并发编程(八):Actor模型(七)

二、深入理解篇

2.1 《源码走读》

· 第一节:Spark应用程序提交流程

· 第二节:SparkContext的创建

· 第三节:Spark Job的提交

· 第四节:Stage划分

· 第五节:Stage提交

· 第六节:Task提交

· 第七节:ResourceOffers与LaunchTasks解析

· 第八节:Task执行

· 第九节:Task执行成功时的结果处理

· 第十节:Standalone运行模式解析

· 第十一节:Spark SQL 处理流程分析

· 第十二节:Spark SQL之SQLContext(一)

2.2 《组件解析》

· 第一节:Spark 1.5.0集群搭建

· 第二节:Hadoop、Spark生成圈简介

· 第三节:Spark Intellij IDEA开发环境搭建

· 第四节:Spark编程模型(一)

· 第五节:Spark编程模型(二)

· 第六节:Spark编程模型(三)

· 第七节:Spark运行原理

· 第八节:Spark SQL与DataFrame(一)

· 第九节:Spark SQL运行流程解析

· 第十节:Spark SQL案例实战(一)

· 第十一节:Spark Streaming(一)

· 第十二节:Spark Streaming(二)

· 第十三节:Spark Streaming(三)

· 第十四节:Spark Streaming(四)

· 第十五节:Kafka 0.8.2.1 集群搭建

· 第十六节:Spark Streaming与Kafka

三、应用实践篇

3.1 《场景实践》

· 和封神一起“深挖”Spark

· 商品搜索引擎---推荐系统设计

· 阿里Spark实践与探索

· 如何做Spark 版本兼容

· 用线性回归无编码实现文章浏览数预测

· Spark Streaming+Spark SQL实现可配置ETL

· 2016中国spark技术峰会见闻摘要

· Spark Streaming 流式计算实战

· 利用 Spark DataSource API 实现Rest数据源

· 协同过滤算法多语言实现 · Spark 数据倾斜的一些表现

· Spark性能优化 · Spark性能优化——和shuffle搏斗

· Kafka+Spark Streaming+Redis实时计算实践

· 数据处理平台架构中的SMACK组合

3.2 《技术应用》

· SparkSQL实战(一):DataFrames基础

· SparkSQL实战(二):DataFrames进阶

· SparkSQL实战(三):SparkSQL应用案例

· ML On Spark(一):基础数据结构

· ML On Spark(二):基础数据结构

· ML On Spark(三):统计基础

· ML On Spark(四):统计基础

更多:E-MapReduce实践应用场景介绍

· 泰为基于EMR的考量与实践

· 基于E-MapReduce梨视频推荐系统

· Databricks、Intel、阿里、梨视频的实践

· E-MapReduce集群搭建HAWQ实践

· E-MapReduce支持计算与存储分离,成本降1倍

· 阿里云MongoDB与EMR的HelloWorld

· E-MapReduce(Hadoop)10大类问题集群规划

· 云上Hadoop之优势

点击此处查看课程详细内容

上一篇下一篇

猜你喜欢

热点阅读