winodws环境通过intellij idea + maven

版本选择

java1.8
scala2.11.12
spark 2.4.3
hadoop 2.7.3
hadoop在windows下运行插件winutil

scala环境配置

todo

spark环境配置

打开 File -> Project Structure，按下图选择上面下载的sprak下的jar包，一路点击后选择 Apply 后可看到右侧出现了对应的包

image image

【参考文献】
https://www.jianshu.com/p/ec31dc3b6c0f
hadoop-2.7.3解压失败解决办法：
1、解压文件出错，如下信息：

D:\hadoop-2.7.3.tar.gz: 无法创建符号链接 D:\hadoop-2.7.3\lib\native\libhadoop.so

2、失败原因：

 客户端没有所需的特权。
 您可能需要以管理员身份运行 WinRAR

3、解决方式如下：

WIN + R快捷的打开命令窗口，输入CMD
输入：cd /d D:\hadoop-2.7.3
这是我的文件夹
然后再输入：start winrar x -y hadoop-2.7.3.tar.gz
也就是调用了winrar 解压了我需要解压的压缩包——“hadoop-2.7.3.tar.gz”
然后就顺利的解压成功了。

【参考文献】
https://blog.csdn.net/ruangaoyan/article/details/100154959

屏蔽spark程序的info日志
【参考文献】
https://blog.csdn.net/qq_21918145/article/details/86545261