MapReduce_WordCount

2023-01-03  本文已影响0人  Carol_Shi

虽然这里是我写的第一个程序,但距离我学习大数据开始已经一年多了,之前一直在学习一些概念,搭建环境,查看各个组件......  其实是不知道从何处着手,所以经常病急乱投医,东看看、西看看。

究竟怎样才是打开这条路最正确的方式呢?可能针对不同的人,也会大不相同吧,直到现在,我还是懵懂的状态,经常还伴随着焦虑。不管怎样,我还是开始了,踉踉跄跄的前进着......

想要写一个程序还真复杂,对于一个几乎完全的新手来说,没有人能够按照自己的想法一步一步指导你该怎样做,只能自己慢慢摸索

1、环境准备(磕磕绊绊,6个月了,我才弄懂这一套)

    ① jdk,jre 配置环境变量

    ② idea 安装,破解,配置工程默认路径等等

    ③ maven 安装,配置环境变量,idea 配置maven

    ④ pom 配置,导入依赖

2、新建第一个项目(建什么样的项目?什么样的才能写大数据的代码?怎么才能最终执行?在哪里执行?这样的项目要怎么建?...... 一系列的问题,我现在还是不怎么清楚哪哪是哪哪......)

    ① resources文件夹的创建方式:

    resources是存放配置文件的,比如 core-site.xml,hdfs-site.xml等这些集群组件的配置文件

    ② 创建 scala 类的方法:

        右键点击项目名,找到Add Framework Support

        点击Add Framework Support,下拉选择Scala

        在右边自己选择Create选择自己想要的Scala版本

上一篇下一篇

猜你喜欢

热点阅读