mr内存不足问题解决

1、yarn的container模型说明

image.png

container的内存分为两部分

• jvm进程的内存大小
• container启动工作的内存大小，一般占用15% container

container 启动是由appmaster启动，接收appmaster的管理

2、mr 计算过程

image.png

map阶段

• 一个大文件分成多个小文件块输入到 map中
• map将文件块读取排好序生成小文件
• 多次合并小文件，最终生成有序文件，并根据reduce的个数分区

shuffle 阶段

• map的container, 启动服务于reduce取数的线程
• reduce 启动拉取数据线程拉取数据

reduce阶段

• 读取多个map归属于同一个reduce分区的数据
• 读取达到缓存池大小时生成小文件
• 多次合并小文件并排序，最终生成一个有序的大文件上传到hdfs

备注：图中缺失reduce的spill小文件阶段

2.1、map的参数

mapreduce.task.io.sort.mb       用于map输出排序的内存大小  100
mapreduce.map.sort.spill.percent        开始spill的缓冲池阈值    0.8
mapreduce.task.io.sort.factor           合并文件数最大值，与reduce共用 10
mapreduce.map.output.compress       输出是否压缩   false
mapreduce.map.output.compress.codec        压缩算法类        DefaultCodec压缩算法
mapreduce.shuffle.max.threads     用于reduce提取结果的线程数量   0 设置为0表示默认值为可用处理器数量的2倍

2.3、reduce的参数

mapreduce.reduce.shuffle.parallelcopies  5 提取map输出的copier线程数 
mapreduce.task.io.sort.factor  10   合并文件数最大值，与map共用
mapreduce.reduce.shuffle.input.buffer.percent  0.70 copy阶段用于保存map输出的堆内存比例
mapreduce.reduce.shuffle.merge.percent   0.66   开始spill文件的缓冲池比例阈值
mapreduce.reduce.merge.inmem.threshold  1000 开始spill的reduce输出文件数阈值，小于等于0表示没有阈值，此时只由缓冲池比例来控制
mapreduce.reduce.input.buffer.percent  0.0 reduce函数开始运行时，内存中的map输出所占的堆内存比例不得高于这个值，默认情况内存都用于reduce函数，也就是map输出都写入到磁盘

3、内存溢出

hive在执行mr任务时，内存溢出分为三中情况

• map阶段
• shuffle阶段
• reduce阶段

3.1、map阶段

mapjoin 分3个阶段 参考 https://www.cnblogs.com/yeyuzhuanjia/p/17921752.html

• 读取小表的数据生成hashtable文件
• 上传到hdfs目录
• 启动map任务，通过map与hastable进行计算

生成hashtable时hive会启动本地map ， 这时是占用hive的内存。这一般不会出现内存不足的情况；在map 与hashtable进行运算时会出现内存不足的情况

Starting task [Stage-4:MAPREDLOCAL] in serial mode

解决

方法一 、关闭mapjoin使用common join即在reduce端进行join

set hive.auto.convert.join=false;

方法二、调大mr的内存

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx3900m;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx3900m;

3.2、shuffle阶段

可以调整mr的参数，也可无脑同上增大内存

3.3、reduce 阶段

方法一、 调整mr参数

set hive.exec.reducers.bytes.per.reducer=30000000  #调整每个reduce处理数据大小，从而增大reduce数进行分散

方法二、也可无脑同上增大内存

常见问题

1、beeline 执行查询获取数据内存不足

beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致。

    org.apache.thrift.TException: Error in calling method FetchResults
            at org.apache.hive.jdbc.HiveConnection$SynchronizedHandler.invoke(HiveConnection.java:1421)
            .....
    Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
            at java.util.Arrays.copyOf(Arrays.java:3332)
            at java.lang.StringCoding.safeTrim(StringCoding.java:89)

解决

export HIVE_OPTS=-Xmx1024M