hadoop基础知识
2018-11-15 本文已影响0人
3bd3c1497272
hdfs的块大小默认为129m
map操作的输出写入本地磁盘，而不是hdfs文件，reduce的输出是在hdfs文件
分布式文件系统
大数据甚于好算法
副本可以避免数据丢失
mapreduce是一个批处理系统，而不适合于交互式系统
与hadoop协同工作的处理模式
交互式sql ---》hive
迭代式计算 ---> 机器学习
流处理 ----》 存储地址
搜索 ---》
image.png
每个reduce操作都又一个输出文件
hadoop对数据进行合理的切片，默认是128MB
map任务的输出为本地磁盘，而不是hdfs
image.png
