MapReduce

2018-01-09  本文已影响3人  6默默Welsh

DigtialOcean(远程服务器) + Docker 取代 AWS

原因

  1. docker是一个轻量级容器,比较容易上手,不需要自己配置环境,所有用docker的环境一样,遇到问题也一样,节省开发效率
  2. 价格便宜

Docker

  1. 容器 a container
  2. (如果手动本地安装 hadoop 需要下载很多 hadoop 文件,把云端 hadoop 环境装到本机,修改配置,解决报错,别人如果安装还需要重复这项工作) docker 作为一个工具把整个 hadoop 环境装到一个小黑箱里,放到云端,所有人都能用
  3. 容器具有轻量级特性,和虚拟机的区别,虚拟机自带操作系统,容器需要用户提供操作系统

MapReduce 中如果不修改参数,默认key 和 value 之间通过一个 /t 来分割,Mapper 读取的 key 是当前读取行在文件中的 offset,默认情况下 value 是读取的每一行
context 是 MapReduce 和外界交流的工具,帮助完成读写工作
MapReduce 写出 string 就 new Text(),写出整数就 new IntWritable()

上一篇下一篇

猜你喜欢

热点阅读