20170922工作小结

熟悉主流大数据框架

熟悉各主流大数据框架的核心思想与主要区别，根据理解做了一些笔记
《分布式框架比较》

搭建分布式环境

尝试搭建了Storm、Flink、Spark的standalone环境，并部署在yarn上运行代码测试。

image.png

基于spark在command上执行scala代码

image.png

遇到问题
在yarn上部署时常会遇到框架配置文件找不到的问题，但standalone模式则可以通过
OS X和linux的环境配置过程感到比较繁杂，出现配置问题时解决效率较低
对Spark的数据传输处理过程理解很浅，希望通过测试其简洁的函数调用过程进一步吃透